• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 8
  • 4
  • 1
  • Tagged with
  • 13
  • 8
  • 5
  • 4
  • 4
  • 3
  • 3
  • 3
  • 3
  • 3
  • 3
  • 3
  • 3
  • 3
  • 3
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
11

The role of continual learning and adaptive computation in improving computational efficiency of deep learning

Gupta, Kshitij 01 1900 (has links)
Au cours de la dernière décennie, des progrès significatifs ont été réalisés dans le domaine de l’IA, principalement grâce aux progrès de l’apprentissage automatique, de l’apprentissage profond et de l’utilisation de modèles à grande échelle. Cependant, à mesure que ces modèles évoluent, ils présentent de nouveaux défis en termes de gestion de grands ensembles de données et d’efficacité informatique. Cette thèse propose des approches pour réduire les coûts de calcul de la formation et de l’inférence dans les systèmes d’intelligence artificielle (IA). Plus précisément, ce travail étudie les techniques d’apprentissage continu et de calcul adaptatif, démontrant des stratégies possibles pour préserver les niveaux de performance de ces systèmes tout en réduisant considérablement les coûts de formation et d’inférence. Les résultats du premier article montrent que les modèles de base peuvent être continuellement pré-entraînés grâce à une méthode d’échauffement et de relecture, ce qui réduit considérable- ment les coûts de calcul de l’entraînement tout en préservant les performances par rapport à un entraînement à partir de zéro. Par la suite, la thèse étudie comment les stratégies de calcul adaptatif, lorsqu’elles sont combinées avec la mémoire, peuvent être utilisées pour créer des agents d’IA plus efficaces au moment de l’inférence pour des tâches de raisonnement complexes, telles que le jeu stratégique de Sokoban. Nos résultats montrent que les modèles peuvent offrir des per- formances similaires ou améliorées tout en utilisant beaucoup moins de ressources de calcul. Les résultats de cette étude ont de vastes implications pour l’amélioration de l’efficacité in- formatique des systèmes d’IA, soutenant à terme le développement de technologies d’IA plus abordables, accessibles et efficaces. / Over the past decade, significant progress has been made by the field of AI, primarily due to advances in machine learning, deep learning, and the usage of large scale models. However, as these models scale, they present new challenges with respect to handling large datasets and being computationally efficient. This thesis proposes approaches to reducing computational costs of training and inference in artificial intelligence (AI) systems. Specifically, this work investigates how Continual Learning and Adaptive Computation techniques can be used to reducing training and inference costs while preserving the perfor- mance levels of these systems . The findings of the first article show that foundation models can be continually pre-trained through a method of warm-up and replay, which significantly decreases training computational costs while preserving performance compared to training from scratch. Subsequently, the thesis investigates how adaptive computation strategies, when com- bined with memory, can be utilized to create more computationally efficient AI agents at inference time for complex reasoning tasks, such as the strategic game of Sokoban. Our results exhibit that models can deliver similar or improved performances while using signifi- cantly fewer computational resources. Findings from this study have broad implications for improving the computational efficiency of AI systems, ultimately supporting the development of more affordable, accessible, and efficient AI technologies.
12

Dialogue entre le bébé et les aspects bébés du self dans les contextes d’anorexie : le bébé dans sa famille, l’adulte et sa parentalité interne / A Dialogue Between the Baby and the Babies Aspects of the Self in the Contexts of Anorexias : the Baby and its Family, the Adult and its Internal Parentality

Deronzier, Déborah 11 December 2014 (has links)
Cette thèse propose une modélisation de la dynamique psychique à l’œuvre dans les contextes d’anorexie. A partir d’une approche processuelle, elle explore la continuité psychodynamique entre les anorexies du bébé-dans-sa-famille et les anorexies mentales de l’adulte. La première partie est consacrée à une revue de la littérature psychanalytique considérant les travaux portant sur l’anorexie mentale de l’adolescente et de l’adulte, les travaux consacrés aux anorexies du bébé et les travaux traitant des anorexies aux différents âges de la vie. La seconde partie présente les fondements épistémologiques de cette recherche. Elle ouvre une réflexion sur la recherche en psychologie clinique et sur ses liens avec la pratique et l’enseignement. Elle précise ma filiation théorique et praticienne. La troisième partie est consacrée à la méthodologie de la recherche clinique, et principalement aux spécificités de l’observation clinique psychanalytique. Elle présente la méthode E. Bick d’observation du bébé dans sa famille, ses apports à la recherche et à la pratique cliniques ainsi que l’adaptation réalisée auprès des patients souffrant d’anorexies. La quatrième partie propose une réflexion sur les enjeux psychiques de la « relation de nourrissage ». Cette relation est envisagée comme une relation commensale (W.R. Bion, 1962), paradigme de la rencontre intersubjective, de la croissance psychique de la subjectivité du bébé et de l’essor de la parentalité, mais aussi terrain privilégié de la transmission psychique inconsciente. La cinquième partie est consacrée à la mise en dialogue entre le bébé-dans-sa-famille et les aspects bébés du self de l’adulte dans les contextes d’anorexie. Les anorexies sont envisagées en terme de refus-impossibilité alimentaire témoignant d’une tentative d’organisation de modalités de survie psychique. Deux angoisses communes apparaissent au centre de la dynamique psychique : une angoisse catastrophique et une angoisse de persécution. L’angoisse catastrophique prend la forme d’une « chute sans fin désintégrante », signe d’une dépression primaire. Elle est surchargée par une angoisse de vampirisation-dévoration qui est notamment envisagée comme une forme d’objectalisation de l’angoisse de « chute sans fin désintégrante ». Les modalités de défenses adhésives ont pour fonction de lutter contre la chute sans fin désintégrante. Elles sont accompagnées d’une inhibition de la vie pulsionnelle —plus particulièrement de l’avidité secondaire— ainsi que de son clivage, son déni et sa projection. Le contact avec la vie émotionnelle du bébé réactive la dépression primaire contre laquelle les aspects bébés du self parental se sont organisés dans une économie de survie psychique. Le refus-impossibilité alimentaire du bébé apparaît en miroir d’un refus-impossibilité d’accueil et de mise en sens de la vie émotionnelle qui caractérise la parentalité anorexique. Le lien entre le bébé et la parentalité, mais aussi entre les aspects bébés du self et la parentalité interne, est caractérisé par une réflexivité opaque et persécutoire intériorisée par le bébé —et les aspects bébés du self— sous la forme d’un cercle pernicieux et involutif. Ce travail se conclut sur la proposition d’un gradient du lien de nourrissage structuré par deux pôles. Le plus intégré, celui de la relation de nourrissage, est caractérisé par une relation d’intimité entre le bébé et la parentalité et l’introjection d’une relation de réflexivité commensale, mutuelle et asymétrique, soutenant l’intégration pulsionnelle, le développement des bases d’un surmoi protecteur et la croissance psychique. Le second est défini comme un lien d’anourrissage, caractérisé par une relation d’ex-timité entre le bébé et la parentalité, l’intériorisation d’un réflexivité opaque et persécutoire sous la forme d’un cercle involutif entraînant la désintrication pulsionnelle et le développement d’un « surmoi sévère et destructeur du moi » (W.R. Bion, 1959). / This dissertation offers a modelisation of the psychological dynamics which are at work in the contexts of anorexia. Process is the cornerstone to the exploration of the ongoing psychodynamic that is at work with the anorexia of the baby-in-its-family and the anorexia nervosa of the adult. The first part reviews the existing psychoanalytical literature and considers the works dealing with the anorexia nervosa of the teenager and of the adult, then the works dedicated to the anorexias of the baby; last but not least, the works offering an approach that considers the anorexias at the different stages of life. The second part deals with the epistemological basis of this work. It explores the research in clinical psychology and the way it is linked to practice and teaching. It looks into the theoretical and practical filiation that operates in our approach to the mental life and to the care relationship. The third part is dedicated to the methodology of the clinical research – mainly the specificities of psychoanalytical observation. It presents E. Bick’s method of infant observation and how this method was adapted for the clinical work with anorexic patients. The fourth part ponders on what is psychologically at stake in the ‘feeding relation’. This relation is seen as commensal (W.R. Bion, 1962), the paradigm of the intersubjective encounter, of the psychological development of the baby’s subjectivity and the emerging parentality, but also the most favored ground of the unconscious psychological transmission. The fifth part creates a dialogue between the baby-in-its-family and the babies aspects of the adult self in the contexts of anorexia. Anorexias are considered in terms of food refusal-impossibility demonstrating an attempt to organise psychological survival. Two common anxieties are at the center of the psychological dynamic : a catastrophic anxiety and a persecution anxiety. The catastrophic anxiety appears as an « endless and disintegrative fall », a sign of a primary depression, which is overloaded with a vampirising and devouring anxiety. The persecution anxiety is also thought as a form of objectalisation of the anxiety of « endless and disintegrative fall ». The adhesive defenses, which are organised to fight against the « endless and disintegrative fall », are accompagnied by an inhibition of the instinctual drives —especially of secondary greed— as well as their splitting, denial and projection. The contact with the baby’s emotional life reactivates the primary depression against which the babies aspects of the parental self are organised in an economy of psychological survival. The food refusal-impossibility of the baby appears as a mirror to the refusal-impossibility to receive and give meaning to the emotionnal life that characterises anorexic parentality. The link between the baby and its parentality, but also between the babies aspects of the self and the internal parentality, presents an opaque and persecutory reflexivity that is interiorized by the baby and the babies aspects of the self, with the form of a pernicious and involutive circle. Finally, this dissertation concludes with the proposition of a range of the feeding relation that is structured by two poles. The first pole is the more integrated one : that of the feeding relation. It is marked by a relation of intimacy between the baby and its parentality and by the introjection of a commensal reflexivity which is both mutual and asymmetrical, and which sustains the integration of instinctual drives, the development of the bases of a protective superego and of the mental growth. The second pole, the un-linked one, is that of the relation of un-feeding characterized by a relation of ex-timity between the baby and its parentality, and the interiorization of a persecutory and opaque reflexivity in the form of a involutive circle leading to the desintegration of the drive and the development of an ego destructive superego (W.R.Bion, 1959).
13

On challenges in training recurrent neural networks

Anbil Parthipan, Sarath Chandar 11 1900 (has links)
Dans un problème de prédiction à multiples pas discrets, la prédiction à chaque instant peut dépendre de l’entrée à n’importe quel moment dans un passé lointain. Modéliser une telle dépendance à long terme est un des problèmes fondamentaux en apprentissage automatique. En théorie, les Réseaux de Neurones Récurrents (RNN) peuvent modéliser toute dépendance à long terme. En pratique, puisque la magnitude des gradients peut croître ou décroître exponentiellement avec la durée de la séquence, les RNNs ne peuvent modéliser que les dépendances à court terme. Cette thèse explore ce problème dans les réseaux de neurones récurrents et propose de nouvelles solutions pour celui-ci. Le chapitre 3 explore l’idée d’utiliser une mémoire externe pour stocker les états cachés d’un réseau à Mémoire Long et Court Terme (LSTM). En rendant l’opération d’écriture et de lecture de la mémoire externe discrète, l’architecture proposée réduit le taux de décroissance des gradients dans un LSTM. Ces opérations discrètes permettent également au réseau de créer des connexions dynamiques sur de longs intervalles de temps. Le chapitre 4 tente de caractériser cette décroissance des gradients dans un réseau de neurones récurrent et propose une nouvelle architecture récurrente qui, grâce à sa conception, réduit ce problème. L’Unité Récurrente Non-saturante (NRUs) proposée n’a pas de fonction d’activation saturante et utilise la mise à jour additive de cellules au lieu de la mise à jour multiplicative. Le chapitre 5 discute des défis de l’utilisation de réseaux de neurones récurrents dans un contexte d’apprentissage continuel, où de nouvelles tâches apparaissent au fur et à mesure. Les dépendances dans l’apprentissage continuel ne sont pas seulement contenues dans une tâche, mais sont aussi présentes entre les tâches. Ce chapitre discute de deux problèmes fondamentaux dans l’apprentissage continuel: (i) l’oubli catastrophique d’anciennes tâches et (ii) la capacité de saturation du réseau. De plus, une solution est proposée pour régler ces deux problèmes lors de l’entraînement d’un réseau de neurones récurrent. / In a multi-step prediction problem, the prediction at each time step can depend on the input at any of the previous time steps far in the past. Modelling such long-term dependencies is one of the fundamental problems in machine learning. In theory, Recurrent Neural Networks (RNNs) can model any long-term dependency. In practice, they can only model short-term dependencies due to the problem of vanishing and exploding gradients. This thesis explores the problem of vanishing gradient in recurrent neural networks and proposes novel solutions for the same. Chapter 3 explores the idea of using external memory to store the hidden states of a Long Short Term Memory (LSTM) network. By making the read and write operations of the external memory discrete, the proposed architecture reduces the rate of gradients vanishing in an LSTM. These discrete operations also enable the network to create dynamic skip connections across time. Chapter 4 attempts to characterize all the sources of vanishing gradients in a recurrent neural network and proposes a new recurrent architecture which has significantly better gradient flow than state-of-the-art recurrent architectures. The proposed Non-saturating Recurrent Units (NRUs) have no saturating activation functions and use additive cell updates instead of multiplicative cell updates. Chapter 5 discusses the challenges of using recurrent neural networks in the context of lifelong learning. In the lifelong learning setting, the network is expected to learn a series of tasks over its lifetime. The dependencies in lifelong learning are not just within a task, but also across the tasks. This chapter discusses the two fundamental problems in lifelong learning: (i) catastrophic forgetting of old tasks, and (ii) network capacity saturation. Further, it proposes a solution to solve both these problems while training a recurrent neural network.

Page generated in 0.069 seconds