Le conditionnement Pavlovien, l'acquisition de réponses vers des stimuli neutres associés à des récompenses, et le conditionnement instrumental, l'expression de comportements pour atteindre des buts, sont au cœur de nos capacités d'apprentissage. Ils sont souvent étudiés séparément malgré les preuves de leur enchevêtrement. Les modèles de conditionnement instrumental reposent sur le formalisme de l'apprentissage par renforcement (RL), alors que les modèles du conditionnement Pavlovien reposent surtout sur des architectures dédiées souvent incompatibles avec ce formalisme, compliquant l'étude de leurs interactions.Notre objectif est de trouver des concepts, qui combinés à des modèles RL puissent offrir une architecture unifiée permettant une telle étude. Nous développons un modèle qui combine un système RL classique, qui apprend une valeur par état, avec un système RL révisé, évaluant les stimuli séparément et biaisant le comportement vers ceux associés aux récompenses. Le modèle explique certaines réponses inadaptées par l'interaction néfaste des systèmes, ainsi que certaines différences inter-individuelles par une simple variation au niveau de la population de la contribution de chaque système dans le comportement global.Il explique une activité inattendue de la dopamine, vis-à-vis de l'hypothèse qu'elle encode un signal d'erreur, par son calcul sur les stimuli et non les états. Il est aussi compatible avec une hypothèse alternative que la dopamine contribue aussi à rendre certains stimuli recherchés pour eux-mêmes. Le modèle présente des propriétés prometteuses pour l'étude du conditionnement Pavlovien,du conditionnement instrumental et de leurs interactions. / Pavlovian conditioning, the acquisition of responses to neutral stimuli previously paired with rewards, and instrumental conditioning, the acquisition of goal-oriented responses, are central to our learning capacities. However, despite some evidences of entanglement, they are mainly studied separately. Reinforcement learning (RL), learning by trials and errors to reach goals, is central to models of instrumental conditioning, while models of Pavlovian conditioning rely on more dedicated and often incompatible architectures. This complicates the study of their interactions. We aim at finding concepts which combined with RL models may provide a unifying architecture to allow such a study. We develop a model that combines a classical RL system, learning values over states, with a revised RL system, learning values over individual stimuli and biasing the behaviour towards reward-related ones. It explains maladaptive behaviours in pigeons by the detrimental interaction of systems, and inter-individual differences in rats by a simple variation at the population level in the contribution of each system to the overall behaviour. It explains unexpected dopaminergic patterns with regard to the dominant hypothesis that dopamine parallels a reward prediction error signal by computing such signal over features rather than states, and makes it compatible with an alternative hypothesis that dopamine also contributes to the acquisition of incentive salience, making reward-related stimuli wanted for themselves. The present model shows promising properties for the investigation of Pavlovian conditioning, instrumental conditioning and their interactions.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal.

Chez l’espèce humaine comme pour de nombreuses autres espèces animales, lorsque des stimuli environnementaux précèdent de façon régulière la présentation d’événements importants pour un individu, ces stimuli vont acquérir sous certaines conditions la capacité à évoquer des comportements dits d’anticipation. Cette capacité est considérée par de nombreux auteurs comme ayant une haute valeur adaptative, favorisant le contact avec des événements appétitifs et permettant l’évitement d’événements aversifs. Ces dernières décennies, deschercheurs ont initié un rapprochement entre le phénomène d’anticipation et le conditionnement Pavlovien. Ce rapprochement repose à la fois sur une similarité dans les caractéristiques des événements mis en jeux mais surtout sur de nombreux effets et phénomènes semblables, amenant ces auteurs à considérer que les comportements ditsd’anticipation, d’une façon générale, reposeraient sur le processus Pavlovien. Leconditionnement Pavlovien offre une littérature extrêmement riche dont l’une des principalesquestions de recherche concerne le problème des conditions à l’apparition du processus.Parmi les hypothèses existantes, l’Hypothèse de l’Information est sans aucun doute l’une desplus importantes par son influence. Selon cette hypothèse, un apprentissage associatifPavlovien n’aura lieu que lorsqu’un événement important sera présenté de façon inattendu à un sujet, et l’apprentissage, ou les associations apprises, ne porteront que sur des stimuli prédictifs de l’événement important (i.e. permettant son anticipation). A travers deux expériences appliquant une procédure de conditionnement rétrograde à une procédure de renforcement conditionné, nous avons cherché à tester les propositions faites par cette hypothèse. Nos résultats vont directement à l’encontre de ces propositions et vont au contraire dans le sens de deux autres propositions théoriques faites sur le conditionnement Pavlovien,illustrées par le modèle SOP et l’Hypothèse du Codage Temporel. Ces deux propositions sont testées au sein d’une troisième et dernière expérience, dont les implications pour ces modèles comme pour la conceptualisation du conditionnement Pavlovien et de l’anticipation de façon générale sont discutées. / In human and non-human animals, environmental stimuli that reliably accompany the presentation of significant events are able after repeated exposures of eliciting anticipatory behaviors. Many authors underlined the adaptive value of anticipatory responses, and suggested a connection with Pavlovian conditioning. Linking anticipatory behaviors to Pavlovian conditioning is supported by the similarity in procedure (i.e. a pairing between a neutral stimulus with a significant event), but also on the common effects and phenomena, and the authors assume that Pavlovian conditioning is the process underlying the anticipation of events. This assumption is at the heart of the Information Hypothesis, and more generally of a functional and predictive perspective of Pavlovian conditioning. According to the Information Hypothesis, Pavlovian conditioning only occurs when an unexpected significant event is presented, and learning (i.e. the formation of association) would be about stimuli that allow the anticipation of the significant event. Using a backward conditioning procedure in a conditioned reinforcement preparation, we tested the assumptions made by the Information Hypothesis. The results found argue against the Information Hypothesis and, in contrast, support the assumption made by two others types of leaning models, illustrated by the Temporal Coding Hypothesis and the SOP model. The Temporal Coding Hypothesis and SOP are tested in a third experiment. Implications for Pavlovian conditioning models and anticipatory behaviors in general are discussed.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

La présente étude a été menée au sein d'une unité psychiatrique spécifique à Montréal où les patients disposent de plusieurs périodes de temps libres durant lesquelles peu d'entre eux s'occupent de manière active et autonome. De façon exploratoire, des programmes de modification du comportement (PMC) basés sur une approche collaborative et le renforcement positif ont été mis en place dans le but de favoriser le développement d'un loisir autonome chez trois sujets cliniques souffrant de troubles sévères et persistants. L'efficacité de ces PMC a été évaluée à l'aide d'un schème à cas uniques dans lequel étaient manipulés à la fois le niveau de base en fonction des individus et les critères de performance. Dans le but d'optimiser les facteurs de réussite dans l'instauration de tels programmes cliniques, cette étude s'est aussi intéressée aux intervenants de l'unité psychiatrique qui appliquent les PMC. Pour ce faire, un questionnaire pré-post PMC sur les croyances/satisfactions envers les PMC a été présenté aux intervenants et une formation suivie par un groupe d'échanges sur le thème de la modification de comportement leur a été proposée. De part la complexité des problématiques affectant les trois sujets cliniques, il demeure difficile d'établir réellement le niveau d'efficacité de chaque programme en fonction de critères simples et précis. Cependant, les trois sujets ont démontré leur capacité à apprendre un loisir, mais un seul sujet a complété le protocole. Les deux autres sujets ont vu leur PMC terminé précipitamment en accord avec le fonctionnement de leur programme général d'intervention individuelle (PII). Bref, un seul sujet a modifié son comportement conformément aux critères préétablis en fonction de l'efficacité expérimentale et thérapeutique, mais les résultats des deux autres sujets suggèrent que leur performance a probablement reflété davantage une réaction propre à leurs caractéristiques personnelles qu'une réponse occasionnée uniquement par le programme mis en place. Chez les intervenants, le taux de réponse au questionnaire est demeuré insuffisant pour tirer des conclusions. Plusieurs possibilités peuvent venir expliquer ces résultats, comme la résistance au changement, l'instrument de mesure ou le déroulement de la recherche. La capacité à développer une habileté de loisir chez les sujets cliniques pourrait varier en fonction du type de motivation préalable au programme et aussi selon des variables personnelles. Les PMC apparaissent comme une stratégie thérapeutique appropriée à la clientèle et au milieu thérapeutique, tout en s'adaptant aux valeurs actuelles en santé mentale. Malgré les résultats mitigés, il est possible de conclure qu'une approche basée sur la collaboration et le renforcement positif dans le développement d'une activité de loisir durant les périodes libres dans une unité psychiatrique serait une avenue thérapeutique prometteuse.

Des travaux récents ont montré que le transfert d'espèces neutres à travers différents types de membranes est modifié selon la composition ionique. En présence de sels, le flux de soluté est augmenté, ce qui peut conduire à une dégradation des performances des procédés. Ce travail présente les résultats d'une étude expérimentale dans laquelle les flux de diffusion de sucre dans différentes matrices ioniques, eau et électrolytes, ont été déterminés à travers des membranes échangeuses d'ions. Une procédure spécifique a été mise au point pour déterminer l'impact des différentes interactions sur les flux de solutés. Les résultats montrent que, dans les conditions étudiées, la modification du transfert de matière est due principalement aux interactions entre le matériau membranaire et la solution. Une corrélation a été établie entre l'échelle d'hydratation des contre-ions de la membrane et le flux de soluté.

Le ruthénium, issu du retraitement des combustibles usés de type Uranium-Oxyde a une très faible solubilité dans les verres de conditionnement de déchets radioactifs. Il précipite dans ces verres à l'état liquide sous forme de particules de RuO2 polyédrique ou aciculaire. Parce que leurs morphologies et leurs dispersions peuvent influencer les propriétés physico-chimiques des verres, la connaissance et le contrôle de leur mécanisme de formation sont d'extrême importance. Tout l'enjeu de cette thèse est de déterminer les différents chemins réactionnels de transformation du ruthénium, présent au sein du déchet calciné, lors de l'élaboration des verres. Par une approche de simplification progressive nous étudions les interactions entre la fritte de verre et des composés simples (NaNO3-RuO2) et plus complexes (calcinat NaNO3-RuO2- Al2O3). Grâce à l'apport de la microscopie et du XANES in situ en température nous suivons l'évolution de la composition, la spéciation et la morphologie des phases intermédiaires contenant du ruthénium. Ces composés sont caractérisés à l'état solide par MEB, DRX, HRTEM et spectroscopie d'absorption X au seuil K du ruthénium. Cette approche combinée nous permet de montrer que la modification de la spéciation du ruthénium au cours de l'élaboration du verre est à l'origine du contrôle de la morphologie des particules de RuO2 dans le verre. En particulier, la formation d'un intermédiaire réactionnel (Na3RuO4) est une des étapes fondamentales à l'origine de la précipitation de RuO2 de morphologie aciculaire. La formation de polyèdres dans le verre résulte au contraire de l'interaction directe de particules de RuO2 avec le verre à l'état liquide. / Ruthenium, arising from the reprocessing of spent uranium oxide fuel, has a low solubility in glass melt. It crystallizes in the form of particles of RuO2 of acicular or polyhedral morphology dispersed in fission product and actinides waste containment glass. Since the morphology of these particles strongly influences the physico-chemical properties, the knowledge and the control of their mechanism of formation are of major importance. The goal of this work is to determine the chemical reactions responsible for the formation of RuO2 particles of acicular or polyhedral shape during glass synthesis. Using a simplification approach, the reactions between RuO2-NaNO3, and more complex calcine RuO2-Al2O3-Na2O and a sodium borosilicate glass are studied. In situ scanning electron microscopy and XANES at increasing temperatures are used to follow changes in composition, speciation and morphology of the ruthenium intermediate species. Those compounds are thoroughly characterised by SEM, XRD, HRTEM, and ruthenium K-edge X-ray absorption spectroscopy. This combined approach allows us to show that the ruthenium speciation modification during vitrification is the key of control of the morphology of RuO2 particles in the glass. In particular, the formation of a specific intermediate compound (Na3RuO4) is one of the main steps that lead to the precipitation of needle-shaped RuO2 particles in the melt. The formation of polyhedral particles, on the contrary, results from the direct incorporation of RuO2 crystals in the melt followed by an Ostwald ripening mechanism.

Pas de résumé / Pas de résumé

En France, le cycle actuel de traitement du combustible usé génère un rejet de carbone 14 (déchet à vie longue, période  5730 ans) dans la géosphère. Ce document apporte des premiers éléments scientifiques et techniques pour évaluer la faisabilité d’un conditionnement du carbone, en tant qu’alternative aux rejets. Un matériau de type céramique a été choisi en raison d’un volume spécifique de 2 à 4 L.kg-1 de carbone, contre 12 à 17 L.kg-1 de carbone pour la cimentation actuellement mise en œuvre industriellement à l’étranger, afin de limiter les volumes produits en prévision d’un stockage géologique potentiel. La phase barytocalcite BaCa(CO3)2 a été étudiée en termes de (i) mode de synthèse compatible avec la forme existante du carbone 14 dans le cycle (ii) solidification par traitement thermique et (iii) résistance à la lixiviation. La barytocalcite a pu être obtenue par précipitation et densifiée à plus de 95% avec un frittage SPS de 30 min à 450°C sous 70 MPa typiquement, et ce, sans perte de carbone. Toutefois, le matériau présente une durabilité chimique limitée en eau pure à 30°C mais le carbone relâché précipite sous la forme de BaCO3 et CaCO3. Malgré cela, la potentialité de la barytocalcite en tant que matériau de conditionnement du carbone 14 reste réelle en raison des propriétés de rétention du site de stockage potentiel. Dans une seconde partie, ce document présente des résultats de caractérisation par diffusion et diffraction de rayons X appliqués à des matériaux liés à la R&D sur le traitement de déchets nucléaires. / In France, the current recycling process of the spent nuclear fuel produces a carbon-14 release in the geosphere (long life radionuclide, half-life  5730 y). This document provides scientific and technical data to evaluate the feasibility of carbon conditioning as an alternative to its release. A ceramic type material was chosen because of a specific volume of 2-4 L/kg of carbon, against 12-17 L/kg of carbon for the cementation process currently implemented industrially abroad, to limit the volumes in the case of a potential geological storage. The barytocalcite phase BaCa(CO3)2 has been studied in terms of (i) synthesis process compatible with the existing form of carbon-14 in the cycle (ii) solidification by heat treatment and (iii) leach resistance. The barytocalcite has been obtained by precipitation and densified to more than 95% with SPS sintering for 30 min at 450°C under 70 MPa, without any loss of carbon. This phase has a limited chemical durability in pure water at 30°C but the released carbon ions precipitate as BaCO3 and CaCO3. However the potentiality of barytocalcite as a carbon 14 conditioning matrix remains interesting because of the retention properties of the potential storage site. In a second part, this document provides the results of characterizations made by X-rays scattering and diffraction on different phases in relation with the nuclear waste conditioning R&D.

Chez les mammifères, le néocortex constitue une structure remarquablement plastique assurant leurs multiples capacités d’adaptation et d’apprentissage. Par exemple, l’apprentissage associatif permet à chaque individu d’apprendre les relations entre un événement particulier (un danger par exemple) et les signaux environnementaux qui y sont associés, afin d’en anticiper les conséquences s’il se reproduit dans le futur. Dans le cas de la peur conditionnée, l'apprentissage associatif améliore les capacités de discrimination des signaux de menace et de sécurité, garantissant ainsi une représentation précise de l'environnement. Ce processus comportemental est en partie dépendant de l'interaction entre deux structures cérébrales: le cortex préfrontal (PFC) et le complexe basolatéral de l'amygdale (BLA). Bien que le PFC puisse encoder à la fois les mémoires de menace et de sécurité qui seraient recrutées préférentiellement après l'apprentissage, on ignore toujours si une telle représentation discriminative existe réellement, et si oui, les mécanismes neuronaux et synaptiques qui en sont à l'origine. Au cours de mon travail de thèse, j'ai démontré que l'activité des neurones excitateurs du PFC est nécessaire à la discrimination entre les signaux de menace et de sécurité grâce à la formation d'ensembles spécifiques de neurones. Au cours de l'apprentissage, les neurones pyramidaux sont potentialisés et recrutés au sein de ses ensembles grâce à l'association au niveau dendritique d'événements synaptiques non-linéaires issus des entrées sensorielles avec des entrées synaptiques provenant de la BLA. En conclusion, nos données fournissent la preuve d'un nouveau mécanisme synaptique qui associe, pendant l'apprentissage, l'expérience perçue avec l’état émotionnel transmis par la BLA permettant ainsi la formation d'ensembles neuronaux dans le cortex préfrontal. / The ability of an organism to predict forthcoming events is crucial for survival, and depends on the repeated contingency and contiguity between sensory cues and the events (i.e. danger) they must predict. The resulting learned association provides an accurate representation of the environment by increasing discriminative skills between threat and safety signals, most likely as a result of the interaction between the prefrontal cortex (PFC) and the basolateral amygdala (BLA). Although it suggests that local neuronal networks in the PFC might encode opposing memories that are preferentially selected during recall by recruiting specific cortical or subcortical structures, whether such a discriminative representation is wired within discrete prefrontal circuits during learning and by which synaptic mechanisms remain unclear. Here, the work at issue demonstrates that discrimination learning of both safe and fear-conditioned stimuli depends on full activity of the frontal association cortex, and is associated with the formation of cue-specific neuronal assemblies therein. During learning, prefrontal pyramidal neurons were potentiated through sensory-driven dendritic non-linearities supported by the activation of long-range inputs from the basolateral amygdala (BLA). Taken together, these data provide evidence for a new synaptic level mechanism that coincidently link (or meta-associate) during learning features of perceived experience with BLA mediated emotional state into prefrontal memory assemblies.