La dopamine (DA) contrôle l'apprentissage lié à la récompense en régulant l'activité et la plasticité de la transmission corticostrialale. Les effets à long terme de la DA impliquent des changements dans la transcription des gènes. Le but de ce travail de thèse est d'étudier les changements transcriptionnels produit dans le striatum ventral, dorsal et cortex préfrontal, par un protocole d'apprentissage opérant ou après une activation du système de la récompense par des injections de cocaïne. Les neurones épineux moyens du striatum peuvent être séparé en deux populations fonctionnelles sur la base de l'expression du récepteur de type 1 de la DA (D1R) ou de type 2 (D2R). Des souris transgéniques expriment une protéine ribosomale étiqueté avec la GFP sous le contrôle du promoteur de D1R ou D2R ont été utilisés afin d'isoler les ARN messagers (ARNm) des neurones D1 ou D2. La première partie de ce travail est centré sur la comparaison de l'expression des gènes dans les différentes populations neuronales exprimant le D1R ou D2R appartenant aux différentes régions d'intérêt, ce qui apporte une caractérisation précise nouvelle des neurones cibles de la DA. Dans un deuxième temps, nous avons caractérisé les modifications produites dans chaque population neuronale par une stimulation passive du système de récompense (traitement chronique à la cocaïne) ou un recrutement actif (apprentissage opérant pour la nourriture). / Dopamine (DA) controls movement execution, action selection, and incentive learning by regulating the activity and plasticity of corticostriatal transmission. Long-term modifications require changes in gene transcription. The aim of this work is to study the changes in transcriptions following an operant learning protocol or mimicking stimulation of the reward system with cocaine in the dorsal striatum and the nucleus accumbens in the striatum, and in the prefrontal cortex. The medium-size spiny striatal projection neurons (SPNs) can be divided into 2 different populations based on the expression of the D1 or D2 DA receptor that participate in distinct pathways, which have opposite functional effects on their target regions. We used transgenic mice that express a tagged ribosomal protein (L10a-EGFP) under control of the D1 or D2 receptor promoter to isolate currently translated mRNA and nuclei from each population of SPNs, as well as from D1 neurons of the prefrontal cortex following passive stimulation of the reward system (chronic treatment with cocaine) and active recruitment of the reward system (operant learning for food). Firstly we compared the basal gene expression in the different neuronal populations characterized by the expression of D1 or D2 receptors and their regional localization. We identified hundreds of differentially expressed mRNA providing a precise characterization of the cellular and regional differences. In the second part, we characterized the changes induced in each neuronal population by a 1-week exposure to cocaine or after operant training for food.

Divers types de séries chronologiques binaires avec récompenses sont étudiés en vue de la modélisation de la succession des valeurs d'une variable climatologique dans une station de mesure pour une période donnée de l'année. Pour différentes hypothèses de dépendance entre les états successifs du processus, nous précisons les caractéristiques essentielles du modèle associé. Des essais de modélisation concernant les séries de précipitations journalières mesurées dans deux stations pluviométriques du réseau français illustrent les possibilités d'utilisation des modèles envisagés

Un nombre important d'expériences étudiant les bases neurales de la cognition spatiale chez le rongeur souligne le rôle majeur de la formation hippocampique (voir Arleo and Rondi-Reig, 2007 pour une revue). Cette région limbique est impliquée dans l'apprentissage spatial depuis que des neurones sélectifs à une position -- nommés cellules de lieu hippocampiques (O'Keefe and Nadel, 1978) -- ont été découverts au moyen d'enregistrements psychophysiologiques chez des rats se déplaçant librement. Ces neurones participent très certainement à l'encodage de représentations spatiales dans un système de coordonnées allocentriques (c'est-'a-dire centrées sur le monde). Cependant deux autres composants sont nécessaires pour accomplir une navigation flexible (c'est-'a-dire pour planifier des détours et/ou des raccourcis) : la représentation du but et la planification de séquences d'actions dirigées vers un objectif (Poucet et al., 2004). Il a été proposé que l'hippocampe encoderait des représentations topologiques (prenant en compte la connectivité entre les différentes positions de l'environnement) adaptées à l'apprentissage de séquences d'actions (voir Poucet et al., 2004). Cependant, d'autres études expérimentales suggèrent l'existence d'un système extrahippocampique de planification de l'action partagé parmi de nombreuses régions (voir Knierim, 2006 pour une revue). Cette hypothèse postule une cognition spatiale distribuée dans laquelle (i) l'hippocampe prendrait part 'a la planification des actions en transmettant des représentations spatiales redondantes aux aires associatives supérieures, (ii) un réseau cortical élaborerait des représentations plus abstraites et compactes du contexte spatial (prenant en compte les informations de motivation, les contraintes cout de l'action / risque, et les séquences temporelles des réponses comportementales dirigées vers un but).

Ce mémoire présente une revue bibliographique et des données sur les bases comportementales et neurophysiologiques de l'apprentissage de comportement séquentiels chez le primate

La notion d'incitation est au cœur des théories économiques modernes. Elle vise à obtenir des agents concernés un certain comportement par la promesse d’une récompense, comportement qu'il n'aurait pas été rationnel pour eux d’adopter sans la présence de cet avantage. En tant que dispositif juridique, l’incitation peut être définie comme un mécanisme cherchant à orienter le comportement de ses destinataires dans un sens déterminé, par la promesse d’une contrepartie avantageuse. Ces dispositifs incitatifs se développent dans l’ensemble des matières juridiques. Il est toutefois un domaine particulier du droit dans lequel il est particulièrement intéressant à étudier : le droit social. Si le législateur laisse au destinataire de la règle le choix d’adopter ou non le comportement incité, il n’en compte pas moins sur le raisonnement rationnel de ce dernier qui devrait se laisser convaincre par la perspective de l’avantage promis. Il est donc improbable, a priori, de trouver ce type de règles dans les matières largement régies par des dispositions d’ordre public.À travers l’analyse du dispositif juridique incitatif dans un domaine aussi vaste et complexe que le droit social, c’est en définitive à une étude des transformations de la normativité juridique que nous nous livrons. Cet instrument des conduites juridiques, si particulier et pourtant si présent dans le droit, donne à voir toute la richesse que peut offrir le droit, en même temps qu’il révèle les dédales obscurs que doivent parcourir ses élaborateurs pour produire, sans effets pervers, les effets escomptés. / The concept of incentive is at the heart of modern economic theories. It aims to get involved some behavior by the promise of a reward, behavior that would not be rational for agents to adopt without the presence of this advantage. As a legal rule, the incentive can be defined as a mechanism seeking to guide the behavior of its recipients in a given direction, with the promise of a reward. These incentives are developed in all legal matters. However, it is a particular area of law in which they are particularly interested to study: social law. If the legislature let the recipient free to adopt or not the behavior encouraged, it does not count less on rational reasoning. It is unlikely to find such rules in matters largely governed by the public order.Through the analysis of the incentive legal system in an area as vast and complex as the social law, it is a study of the transformation of legal normativity that we deliver. This legal instrument gives to see the richness that can provide the law at the same time it reveals the several ways its developers have to take to produce the expected effects.

L'addiction aux drogues est une pathologie psychiatrique chronique qui représente un problème de santé publique majeur. Malgré des avancées importantes permettant de mieux comprendre les modifications cérébrales induites par les drogues d'abus, les thérapies restent encore limitées. Ainsi, l'étude des processus cérébraux qui sous-tendent les risques de rechute à long terme semble être centrale à l'élaboration de nouvelles stratégies thérapeutiques. Une partie de cette thèse vise à déterminer les modifications cérébrales induites à long terme lors du sevrage, suite à une prise chronique de cocaïne. Notre première étude a révélé une réduction de la densité vasculaire cérébrale lors du sevrage précoce, exclusivement localisée dans le cortex cingulaire. Dans la seconde étude, nous avons mis en évidence des modifications du métabolisme cérébral et étudié leur évolution lors du sevrage. Après un mois de sevrage, période où l'on trouve le phénomène d'incubation du « craving », nous avons mis en évidence une réduction du métabolisme cortical et striatal alors que l'amygdale se voit hyperactivée témoignant d'une dérégulation des fonctions cérébrales. Enfin, nous avons caractérisé le mécanisme sous-jacent à l'effet « anti-craving » de l'environnement enrichi (EE). Nous avons émis l'hypothèse que l'EE agirait comme une récompense alternative pour diminuer la recherche de cocaïne, ainsi nous avons testé les effets de l'exposition au sucrose et à l'exercice physique sur le comportement de recherche de drogue. Nous avons montré que l'accès à une récompense alternative pendant le sevrage ne permet pas de réduire la recherche de cocaïne suggérant que l’EE n'agit pas exclusivement comme une récompense alternative. / Drugs addiction is a chronic brain disorder representing a major public health problem. Although important advances allowed a better understanding of the cerebral modifications induced by chronic exposure to drugs, the therapies still nowadays limited. Therefore the investigation of cerebral processes that underlie the persistent risks of relapse, seem to be crucial to offer new therapeutic strategies. A part of this thesis aims at investigating the cerebral modifications induced in a long term during the withdrawal, due to a chronic voluntary intake of cocaine. In our first study we found a reduction of the density of cerebral vessels during the early withdrawal selectively localized in the cingular cortex. In our second study we found that cocaine intake leads to modifications of cerebral metabolism that evolve during the withdrawal. After one month of withdrawal, at a time when the phenomenon of incubation of craving is found, we found a decrease in cortical and striatal metabolism and a hyperactivation of the amygdala which demonstrates a persistent disregulation of brain functioning. Finally, in our third study, we tried to dissect the mechanism underlying the anti-craving effect of the enriched environment (EE). We hypothesized that the EE acts as an alternative reward to decrease the cocaine seeking behavior. Thus we tested the effects of exposure to sucrose or the physical exercise on relapse to cocaine. We demonstrated that the access to an alternative reward during the withdrawal does not allow reducing cocaine seeking which suggests that the EE does not act exclusively as an alternative reward.

Savoir apprendre de ses actions est crucial pour la survie de l'individu. Apprenons-nous différemment selon que nos actions sont récompensées ou punies? Le cerveau intègre-t-il de la même façon les différentes dimensions du choix, tels que les récompenses, les punitions et l'effort physique? Ces dimensions de choix sont-elles représentées par le même circuit neural? Quelle est l'influence de la dopamine sur différents types d'apprentissage (A)?La théorie d'A par renforcement postule que l'A s'effectue par la minimisation de la différence entre les prédictions (des représentations internes du résultat attendu) et le réel résultat des choix. On a étudié l'activité cérébrale liée à ces variables internes dans différents types d'A et comment elles sont altérées par des manipulations pharmacologiques ou par la stimulation cérébrale profonde.Dans l'étude 1, on a observé une puissance spectrale (10-20Hz) élevée dans le noyau pédonculopontin (NP) de patients parkinsoniens suite à la récompense. La stimulation du NP améliore l'A par la récompense, mais pas par la punition. Le NP pourrait contribuer à la représentation de la récompense via une interaction avec les neurones dopaminergiques mésolimbiques impliqués dans la computation de l'erreur de prédiction.Dans les études 2 et 3, on a comparé l'A par la récompense et par l'effort. Les résultats d'IRMf montrent des circuits neuraux partiellement dissociables pour ces deux types d'A. La dopamine, connue pour ces effets bénéfiques sur l'A par la récompense, n'a pas d'effet sur l'A par l'effort.Ce travail permet de généraliser l'algorithme d'A à plusieurs dimensions du choix ainsi que son implémentation dans des circuits spécialisés. / Learning from actions is a key ability for survival. But do we learn differently depending on whether the action outcome is positive or negative? Did the brain integrate different choice dimensions such as rewards, punishments or physical efforts in the same way? Do they all rely on the same neural circuit? Does dopamine influence both learning from rewards and efforts? Reinforcement learning theory postulates that learning follows stepwise minimization of the difference between prediction (e.g. internal representation of expected outcome) and actual outcome. We investigated how brain activity relates to these internal variables in different types of learning and how these representations are altered by pharmacological manipulation and deep brain stimulation.In study 1, we found an increase in power in beta band (10-20Hz) in response to reward in the peduncolopontine nucleus (PPN) of patients with Parkinson’s disease. Stimulation of the PPN specifically improved learning from rewards but not from punishments. This brainstem structure might contribute to the reward-related representations in the midbrain dopamine neurons that are known for their computations of reward prediction errors.In the studies 2 and 3, we compared learning to maximize reward with learning to minimize effort. FMRI results suggest that reward and effort related computations are carried by partially dissociable neural networks. Moreover, dopamine, a neuromodulator known to enhance reward maximization did not influence learning to minimize efforts.Overall, this PhD helps generalizing learning algorithms across different choice dimensions and specifying their implementation in different neural networks.

Ce mémoire présente mon projet de maîtrise dont l’objectif était d’étudier les associations entre la récompense alimentaire à l’égard des aliments riches en gras et en sucres, le statut pondéral et les comportements alimentaires. Cent cinquante femmes de poids normal ou obèses ont été invitées à compléter deux questionnaires : un sur la récompense alimentaire (plaisir explicite, motivation explicite et motivation implicite) et l’autre sur les comportements alimentaires [restriction cognitive (totale, flexible et rigide), désinhibition (totale, habituelle, émotionnelle et situationnelle) et susceptibilité à la faim (totale, interne et externe)]. Aucune association n’a été observée entre la récompense alimentaire et le statut pondéral. Toutefois, un plaisir et une motivation explicites plus importants pour les aliments en général ont été notés chez les femmes avec un score plus élevé de restriction flexible. De plus, une motivation implicite plus importante pour les aliments riches en gras tendait à être associée avec un score plus élevé de susceptibilité émotionnelle à la désinhibition et a été associée significativement avec un score plus élevé de faim externe. Ces résultats suggèrent que les comportements alimentaires ont une plus grande influence sur la récompense alimentaire que le statut pondéral. / This master’s project presents a study whose objective was to examine the associations between food reward for high-fat sweet foods, weight status and eating behaviour traits. One hundred and fifty normal-weight or obese women were asked to complete two questionnaires: one on food reward (explicit liking, explicit wanting and implicit wanting) and the other on eating behaviour traits [cognitive dietary restraint (total, flexible and rigid), disinhibition (total, habitual, emotional and situational) and susceptibility to hunger (total, internal and external)]. No associations were observed between food reward and weight status. However, higher explicit liking and wanting for foods in general were noted in women with a higher score of flexible restraint. Moreover, higher implicit wanting for high fat foods tended to be associated with a higher score of emotional susceptibility to disinhibition and was significantly associated with a higher score of external hunger. These results suggest that eating behaviour traits have a greater influence on food reward than weight status.

Introduction: Une stimulation nociceptive localisée peut produire une analgésie diffuse par un mécanisme endogène inhibiteur de la douleur (MEID). Des stimuli plaisants (e.g. musique) ainsi que le plaisir induit par l’interruption de la douleur peuvent également induire une analgésie. Pour cette raison, il est possible que l’analgésie causée par le plaisir (induite par l’arrêt de la douleur) soit un effet confondant dans le MEID. Objectifs: 1) Examiner la possibilité d’une relation entre le plaisir induit par l’arrêt de la douleur et le MEID et 2) Étudier l’interaction entre le plaisir et la douleur en examinant les activations/désactivations cérébrales pendant une stimulation nociceptive. Méthodologie: Étude 1) Le MEID a été mesuré (N=27) en administrant une chaleur nociceptive (thermode) avant et après le test de l’eau froide. Après une pause de 30 minutes, le test de l’eau froide a été réadministré pour mesurer le niveau de plaisir (0-100) induit par l’arrêt de la douleur (mesuré pendant 4 minutes). Étude 2) Un stimulus nociceptif (gel froid) a été administré (N=26) pendant une session d’IRMf. Résultats: Étude 1) L’arrêt du test de l’eau froide a induit une hypoalgésie avoisinant les 40%. Le MEID et le plaisir induit par l’interruption de la douleur n’étaient pas corrélés. Étude 2) Comparativement au stimulus neutre, le gel froid a induit une activation significative des régions de douleur (e.g. insula, precuneus) et une désactivation significative dans le gyrus frontal orbital moyen. Discussion: La désactivation du gyrus frontal orbital moyen illustre le débalancement de l’homéostasie pendant la stimulation douloureuse, qui est ensuite rétablit par l’augmentation du plaisir, suite à l’interruption de la douleur (effet compensatoire entre la douleur et le plaisir). / Background: A localized painful stimulation can produce diffused analgesia through the inhibitory conditioned pain modulation system (ICPM). Analgesia can also be induced by pleasant stimuli (e.g. music) or by the interruption of a painful stimuli (pleasant pain relief). Because pleasure has analgesic benefits, the effect of pleasant pain relief could be a confounding factor in ICPM. Furthermore, pain offset induces activations in reward regions, though results showing the deactivation of reward regions during pain onset have been inconsistent. Objectives: 1) investigate the possible relationship between pleasant pain relief and ICPM using psychophysical measures and 2) investigate cerebral activations/deactivations during pain onset. This will allow a better comprehension of the pain/reward interaction. Methodology: In study 1, ICPM was measured (N=27) by administering noxious heat (thermode) before and after the cold pressor test (CPT). After a 30 minutes break, the CPT was re-administered to measure pleasant pain relief (0-100) for 4 minutes. In study 2, a modified CPT (gel) was administrated (N=26) during an fMRI session to investigate cerebral activations/deactivations during pain onset. Results: In study 1, interruption of the CPT induced a mean pleasant pain relief of almost 40%. ICPM and pleasant pain relief did not correlate. In study 2, we found significant activations in the insula, the precuneus and the middle frontal gyrus and a significant deactivation in the medial orbital frontal gyrus during pain onset, when compared to the neutral stimulus. Discussion: Deactivation of reward regions illustrates the disruption in homeostasis caused by pain onset, which is later reinstated during pain offset (pleasant pain relief), therefore showing a compensatory effect. This allowed an enhanced comprehension of the opponent process theory.

Le trafic mobile global atteindra 24,3 exa-octets en 2019. Accueillir cette croissance dans les réseaux d’accès radio devient un véritable casse-tête. Nous porterons donc toute notre attention sur l'une des solutions à ce problème : le délestage (offloading) grâce à des communications de dispositif à dispositif (D2D). Notre première contribution est DROiD, une stratégie qui exploite la disponibilité de l'infrastructure cellulaire comme un canal de retour afin de suivre l'évolution de la diffusion d’un contenu. DROiD s’adapte au rythme de la diffusion, permettant d'économiser une quantité élevée de données cellulaires, même dans le cas de contraintes de réception très serrées. Ensuite, nous mettons l'accent sur les gains que les communications D2D pourraient apporter si elles étaient couplées avec les transmissions multicast. Par l’utilisation équilibrée d'un mix de multicast, et de communications D2D, nous pouvons améliorer, à la fois, l'efficacité spectrale ainsi que la charge du réseau. Afin de permettre l’adaptation aux conditions réelles, nous élaborons une stratégie d'apprentissage basée sur l'algorithme dit ‘’bandit manchot’’ pour identifier la meilleure combinaison de communications multicast et D2D. Enfin, nous mettrons en avant des modèles de coûts pour les opérateurs, désireux de récompenser les utilisateurs qui coopèrent dans le délestage D2D. Nous proposons, pour cela, de séparer la notion de seeders (utilisateurs qui transportent contenu, mais ne le distribuent pas) et de forwarders (utilisateurs qui sont chargés de distribuer le contenu). Avec l'aide d’un outil analytique basée sur le principe maximal de Pontryagin, nous développons une stratégie optimale de délestage. / Mobile data traffic is expected to reach 24.3 exabytes by 2019. Accommodating this growth in a traditional way would require major investments in the radio access network. In this thesis, we turn our attention to an unconventional solution: mobile data offloading through device-to-device (D2D) communications. Our first contribution is DROiD, an offloading strategy that exploits the availability of the cellular infrastructure as a feedback channel. DROiD adapts the injection strategy to the pace of the dissemination, resulting at the same time reactive and relatively simple, allowing to save a relevant amount of data traffic even in the case of tight delivery delay constraints.Then, we shift the focus to the gains that D2D communications could bring if coupled with multicast wireless networks. We demonstrate that by employing a wise balance of multicast and D2D communications we can improve both the spectral efficiency and the load in cellular networks. In order to let the network adapt to current conditions, we devise a learning strategy based on the multi-armed bandit algorithm to identify the best mix of multicast and D2D communications. Finally, we investigate the cost models for operators wanting to reward users who cooperate in D2D offloading. We propose separating the notion of seeders (users that carry content but do not distribute it) and forwarders (users that are tasked to distribute content). With the aid of the analytic framework based on Pontryagin's Maximum Principle, we develop an optimal offloading strategy. Results provide us with an insight on the interactions between seeders, forwarders, and the evolution of data dissemination.