Québec Université Laval, Bibliothèque 2015

Les modèles de décision conventionnels, basés sur l’utilisation du système saccadique comme modèle sensorimoteur, considèrent typiquement les temps de réaction comme un sous-produit des processus décisionnels, reflétant le temps nécessaire pour prendre une décision. Cependant, des recherches ont montré que les latences saccadiques sont deux fois plus longues que le temps de décision, ainsi que l’organisation de l’environnement affecte les latences saccadiques. Cette thèse propose une interprétation alternative des temps de réaction saccadiques (SRTs) en montrant que les distributions de latences saccadiques peuvent être altérées par leurs propres conséquences. Nous défendons l’hypothèse que les latences saccadiques dépendent de relations fonctionnelles avec leur environnement.Cette thèse a réalisé une analyse fonctionnelle des latences saccadiques. La première étude a évalué s’il était possible de choisir ses propres latences en fonction des contingences de renforcement en cours, dans le but d’explorer l’étendue du contrôle temporel des saccades. L’allocation des latences courtes et longues correspondait au renforcement relativement obtenu, démontrant un contrôle fin des SRTs. La seconde étude a évalué de manière plus approfondie l’effet de conséquences bénéfiques sur les SRTs, en utilisant le phénomène de taille-latence. La procédure de renforcement a été efficace pour manipuler le bénéfice de SRTs plus courts et pour réduire le phénomène de taille-latence. La troisième étude a démontré comment les stimuli antécédents en viennent à contrôler des temps de réaction spécifiques à l’aide d’un apprentissage opérant. Les contingences de renforcement ont induit un contrôle discriminatif des latences entre des stimuli différents. Enfin, la dernière expérience a exploré l’implication des processus d’apprentissage classique dans le contrôle par le stimulus des latences saccadiques. Cette étude pilote met en évidence l’influence de l’environnement et de l’historique d’apprentissage dans le contrôle temporel des saccades.Nos résultats soulignent l’incroyable plasticité du système saccadique, et l’étend au contrôle temporel des saccades. Cette thèse montre qu’un processus général d’apprentissage, basé sur les conséquences fonctionnelles des saccades, peut expliquer de manière parcimonieuse les changements dans les latences saccadiques. Démontrant que la latence est une dimension opérante des saccades, l’organisation de l’environnement contrôle l’organisation temporelle des saccades. / Conventional decision models, based on the saccadic system as a sensorimotor model, typically view reaction time as a byproduct of decisional processes, reflecting the time needed to make a decision. However, research has shown that saccadic latencies are twice as long as the decision time and that the organization of the environment affects saccade latencies. This thesis dissertation provides an alternative view of saccadic reaction times (SRTs) by showing that saccade latency distribution can be altered by their own consequences. We defend that saccadic latency depends on functional relations with its environment.This thesis conducted a functional analysis of saccadic latencies. The first study probed whether it is possible to choose one’s latencies depending on the reinforcement contingencies in force, in order to assess the extent of temporal control with saccades. The allocation of short and long latencies matched the relative reinforcement obtained, demonstrating a fine control of SRTs. The second study further investigated the effect of beneficial consequences on SRTs, using the size-latency phenomenon. The reinforcement procedure was effective in manipulating the benefit of shorter SRTs and reducing the size- latency phenomenon. The third experiment demonstrated how antecedent stimuli come to control specific reaction times through operant learning. Reinforcement contingencies induced discriminative control of latencies between different stimuli. Finally, the last experiment explored the involvement of classical learning processes in stimulus control of saccade latencies. This pilot study highlighted the influence of the environment and learning history in the temporal control of saccades.Our results emphasize the exquisite plasticity of the saccadic system, and extend it to the temporal control of saccades. This thesis shows that a general learning process, based on the functional consequences of saccades, can parsimoniously explain changes in saccadic latency. Demonstrating that latency is an operant dimension of saccades, the organization of the environment controls the temporal organization of saccades.

Depuis les travaux de Pavlov sur le conditionnement classique, les théories behavioristes énoncent un principe de conditionnement classique d'ordre supérieur qui a été amplement vérifié expérimentalement. Selon ce principe, si un stimulus neutre se présente de façon répétée en contiguïté avec un stimulus conditionné, qui a acquis par conditionnement classique primaire le contrôle d'une réponse physiologique, ce stimulus devient un stimulus conditionné d'ordre supérieur pour cette réponse. Selon Staats, il existe en conditionnement instrumental un principe analogue au principe du conditionnement classique d'ordre supérieur; selon ce principe, si un nouveau stimulus se présente de façon répétée en contiguïté avec un stimulus qui a acquis par conditionnement instrumental primaire le contrôle d'une réponse motrice, ce stimulus devient un stimulus directif d'ordre supérieur pour cette réponse. Ainsi, Staats (1975) a incorporé le principe du conditionnement instrumental d'ordre supérieur à sa théorie de l'apprentissage et du comportement qui constitue la base du béhaviorisme social. Le principe du conditionnement instrumental d'ordre supérieur est un principe original, en ce sens que les théories behavioristes traditionnelles ne l'énoncent pas. C'est, cependant, un principe qui jouerait un rôle très important, particulièrement dans l'apprentissage et le développement du langage. Par ailleurs, c'est, aussi, un principe qui ne possède que très peu de support expérimental. Selon Staats, il serait important de le démontrer définitivement parce que sa démonstration entraînerait de profondes modifications dans les théories traditionnelles de l'apprentissage. Cette recherche, qui se déroule au niveau humain, s'inscrit dans le contexte de la recommandation maintes fois réitérée de Staats de soumettre le principe du conditionnement instrumental d'ordre supérieur à une série de vérifications expérimentales. Le rapport de recherche décrit, d'abord, le principe du conditionnement instrumental d'ordre supérieur, qu'il examine ensuite dans son contexte théorique et expérimental. Le problème pratique qui sert de support à la vérification expérimentale du principe est alors exposé avant de décrire l'expérience elle-même. Enfin, les résultats de la recherche sont décrits et discutés. / Québec Université Laval, Bibliothèque 2014

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Plusieurs neuropathologies et le vieillissement normal peuvent affecter le système hippocampique de mémoire. Le conditionnement de trace est une situation expérimentale utilisée pour modéliser les effets d'un dommage hippocampique sur la mémoire. Les données disponibles provenant de ce paradigme sont issues des situations aversives et, jusqu'à tout récemment, aucune étude ou expérience n'avait eu recours au conditionnement de trace appétitif. De plus, il n'existe aucune recension systématique des écrits scientifiques sur les effets de dommages hippocampiques sur le conditionnement de trace appétitif ou aversif. Le but de cette thèse est d'explorer la fonction de l'hippocampe dans le conditionnement appétitif de trace et de faire la synthèse des données sur les situations appétitives et aversives. Un dommage à l'hippocampe nuit à l'acquisition, à l'expression et à la rétention d'une réponse conditionnelle (RC) aversive quand une trace sépare le stimulus conditionnel (SC) du stimulus inconditionnel (SI). Les données empiriques issues des cinq expériences de cette thèse arrivent à des conclusions différentes. En effet, il n'y a aucune différence dans l'acquisition du conditionnement de trace de la réponse de lapement chez des rats contrôles et des rats avec une lésion excitotoxique de l'hippocampe dorsal, de l'hippocampe ventral, ou de tout l'hippocampe. Les expériences subséquentes tentent d'expliquer cette absence de déficit. Elles démontrent que dans un conditionnement de trace appétitif où la trace est plus longue que le SC, comme dans le conditionnement de trace aversif, les rats avec une lésion complète de l'hippocampe acquièrent la RC aussi rapidement que des rats avec une lésion simulée. Dans une autre expérience, la performance de rats lésés à l'hippocampe ne diffère pas de celle de rats contrôles dans un conditionnement de trace appétitif où le SI, et les éléments motivationnels qui lui sont associés, n'apparaissent que dans la cage de conditionnement, comme dans les situations aversives. Les résultats obtenus suggèrent donc que les substrats neuronaux des conditionnements de trace aversif et appétitif sont distincts. Ceci est plausible puisque ces situations d'apprentissage se différencient par plusieurs dimensions, comme les processus motivationnels. Ces différences expliqueraient pourquoi l'hippocampe joue un rôle dans une situation (aversive) et non l'autre (appetitive).

Tout au long de la vie, le cerveau développe des représentations de son environnement permettant à l’individu d’en tirer meilleur profit. Comment ces représentations se développent-elles pendant la quête de récompenses demeure un mystère. Il est raisonnable de penser que le cortex est le siège de ces représentations et que les ganglions de la base jouent un rôle important dans la maximisation des récompenses. En particulier, les neurones dopaminergiques semblent coder un signal d’erreur de prédiction de récompense. Cette thèse étudie le problème en construisant, à l’aide de l’apprentissage machine, un modèle informatique intégrant de nombreuses évidences neurologiques. Après une introduction au cadre mathématique et à quelques algorithmes de l’apprentissage machine, un survol de l’apprentissage en psychologie et en neuroscience et une revue des modèles de l’apprentissage dans les ganglions de la base, la thèse comporte trois articles. Le premier montre qu’il est possible d’apprendre à maximiser ses récompenses tout en développant de meilleures représentations des entrées. Le second article porte sur l'important problème toujours non résolu de la représentation du temps. Il démontre qu’une représentation du temps peut être acquise automatiquement dans un réseau de neurones artificiels faisant office de mémoire de travail. La représentation développée par le modèle ressemble beaucoup à l’activité de neurones corticaux dans des tâches similaires. De plus, le modèle montre que l’utilisation du signal d’erreur de récompense peut accélérer la construction de ces représentations temporelles. Finalement, il montre qu’une telle représentation acquise automatiquement dans le cortex peut fournir l’information nécessaire aux ganglions de la base pour expliquer le signal dopaminergique. Enfin, le troisième article évalue le pouvoir explicatif et prédictif du modèle sur différentes situations comme la présence ou l’absence d’un stimulus (conditionnement classique ou de trace) pendant l’attente de la récompense. En plus de faire des prédictions très intéressantes en lien avec la littérature sur les intervalles de temps, l’article révèle certaines lacunes du modèle qui devront être améliorées. Bref, cette thèse étend les modèles actuels de l’apprentissage des ganglions de la base et du système dopaminergique au développement concurrent de représentations temporelles dans le cortex et aux interactions de ces deux structures. / Throughout lifetime, the brain develops abstract representations of its environment that allow the individual to maximize his benefits. How these representations are developed while trying to acquire rewards remains a mystery. It is reasonable to assume that these representations arise in the cortex and that the basal ganglia are playing an important role in reward maximization. In particular, dopaminergic neurons appear to code a reward prediction error signal. This thesis studies the problem by constructing, using machine learning tools, a computational model that incorporates a number of relevant neurophysiological findings. After an introduction to the machine learning framework and to some of its algorithms, an overview of learning in psychology and neuroscience, and a review of models of learning in the basal ganglia, the thesis comprises three papers. The first article shows that it is possible to learn a better representation of the inputs while learning to maximize reward. The second paper addresses the important and still unresolved problem of the representation of time in the brain. The paper shows that a time representation can be acquired automatically in an artificial neural network acting like a working memory. The representation learned by the model closely resembles the activity of cortical neurons in similar tasks. Moreover, the model shows that the reward prediction error signal could accelerate the development of the temporal representation. Finally, it shows that if such a learned representation exists in the cortex, it could provide the necessary information to the basal ganglia to explain the dopaminergic signal. The third article evaluates the explanatory and predictive power of the model on the effects of differences in task conditions such as the presence or absence of a stimulus (classical versus trace conditioning) while waiting for the reward. Beyond making interesting predictions relevant to the timing literature, the paper reveals some shortcomings of the model that will need to be resolved. In summary, this thesis extends current models of reinforcement learning of the basal ganglia and the dopaminergic system to the concurrent development of representation in the cortex and to the interactions between these two regions.

Tout au long de la vie, le cerveau développe des représentations de son environnement permettant à l’individu d’en tirer meilleur profit. Comment ces représentations se développent-elles pendant la quête de récompenses demeure un mystère. Il est raisonnable de penser que le cortex est le siège de ces représentations et que les ganglions de la base jouent un rôle important dans la maximisation des récompenses. En particulier, les neurones dopaminergiques semblent coder un signal d’erreur de prédiction de récompense. Cette thèse étudie le problème en construisant, à l’aide de l’apprentissage machine, un modèle informatique intégrant de nombreuses évidences neurologiques. Après une introduction au cadre mathématique et à quelques algorithmes de l’apprentissage machine, un survol de l’apprentissage en psychologie et en neuroscience et une revue des modèles de l’apprentissage dans les ganglions de la base, la thèse comporte trois articles. Le premier montre qu’il est possible d’apprendre à maximiser ses récompenses tout en développant de meilleures représentations des entrées. Le second article porte sur l'important problème toujours non résolu de la représentation du temps. Il démontre qu’une représentation du temps peut être acquise automatiquement dans un réseau de neurones artificiels faisant office de mémoire de travail. La représentation développée par le modèle ressemble beaucoup à l’activité de neurones corticaux dans des tâches similaires. De plus, le modèle montre que l’utilisation du signal d’erreur de récompense peut accélérer la construction de ces représentations temporelles. Finalement, il montre qu’une telle représentation acquise automatiquement dans le cortex peut fournir l’information nécessaire aux ganglions de la base pour expliquer le signal dopaminergique. Enfin, le troisième article évalue le pouvoir explicatif et prédictif du modèle sur différentes situations comme la présence ou l’absence d’un stimulus (conditionnement classique ou de trace) pendant l’attente de la récompense. En plus de faire des prédictions très intéressantes en lien avec la littérature sur les intervalles de temps, l’article révèle certaines lacunes du modèle qui devront être améliorées. Bref, cette thèse étend les modèles actuels de l’apprentissage des ganglions de la base et du système dopaminergique au développement concurrent de représentations temporelles dans le cortex et aux interactions de ces deux structures. / Throughout lifetime, the brain develops abstract representations of its environment that allow the individual to maximize his benefits. How these representations are developed while trying to acquire rewards remains a mystery. It is reasonable to assume that these representations arise in the cortex and that the basal ganglia are playing an important role in reward maximization. In particular, dopaminergic neurons appear to code a reward prediction error signal. This thesis studies the problem by constructing, using machine learning tools, a computational model that incorporates a number of relevant neurophysiological findings. After an introduction to the machine learning framework and to some of its algorithms, an overview of learning in psychology and neuroscience, and a review of models of learning in the basal ganglia, the thesis comprises three papers. The first article shows that it is possible to learn a better representation of the inputs while learning to maximize reward. The second paper addresses the important and still unresolved problem of the representation of time in the brain. The paper shows that a time representation can be acquired automatically in an artificial neural network acting like a working memory. The representation learned by the model closely resembles the activity of cortical neurons in similar tasks. Moreover, the model shows that the reward prediction error signal could accelerate the development of the temporal representation. Finally, it shows that if such a learned representation exists in the cortex, it could provide the necessary information to the basal ganglia to explain the dopaminergic signal. The third article evaluates the explanatory and predictive power of the model on the effects of differences in task conditions such as the presence or absence of a stimulus (classical versus trace conditioning) while waiting for the reward. Beyond making interesting predictions relevant to the timing literature, the paper reveals some shortcomings of the model that will need to be resolved. In summary, this thesis extends current models of reinforcement learning of the basal ganglia and the dopaminergic system to the concurrent development of representation in the cortex and to the interactions between these two regions.