Au cours de la dernière décennie, des progrès significatifs ont été réalisés dans le domaine de l’IA, principalement grâce aux progrès de l’apprentissage automatique, de l’apprentissage profond et de l’utilisation de modèles à grande échelle. Cependant, à mesure que ces modèles évoluent, ils présentent de nouveaux défis en termes de gestion de grands ensembles de données et d’efficacité informatique. Cette thèse propose des approches pour réduire les coûts de calcul de la formation et de l’inférence dans les systèmes d’intelligence artificielle (IA). Plus précisément, ce travail étudie les techniques d’apprentissage continu et de calcul adaptatif, démontrant des stratégies possibles pour préserver les niveaux de performance de ces systèmes tout en réduisant considérablement les coûts de formation et d’inférence. Les résultats du premier article montrent que les modèles de base peuvent être continuellement pré-entraînés grâce à une méthode d’échauffement et de relecture, ce qui réduit considérable- ment les coûts de calcul de l’entraînement tout en préservant les performances par rapport à un entraînement à partir de zéro. Par la suite, la thèse étudie comment les stratégies de calcul adaptatif, lorsqu’elles sont combinées avec la mémoire, peuvent être utilisées pour créer des agents d’IA plus efficaces au moment de l’inférence pour des tâches de raisonnement complexes, telles que le jeu stratégique de Sokoban. Nos résultats montrent que les modèles peuvent offrir des per- formances similaires ou améliorées tout en utilisant beaucoup moins de ressources de calcul. Les résultats de cette étude ont de vastes implications pour l’amélioration de l’efficacité in- formatique des systèmes d’IA, soutenant à terme le développement de technologies d’IA plus abordables, accessibles et efficaces. / Over the past decade, significant progress has been made by the field of AI, primarily due to advances in machine learning, deep learning, and the usage of large scale models. However, as these models scale, they present new challenges with respect to handling large datasets and being computationally efficient. This thesis proposes approaches to reducing computational costs of training and inference in artificial intelligence (AI) systems. Specifically, this work investigates how Continual Learning and Adaptive Computation techniques can be used to reducing training and inference costs while preserving the perfor- mance levels of these systems . The findings of the first article show that foundation models can be continually pre-trained through a method of warm-up and replay, which significantly decreases training computational costs while preserving performance compared to training from scratch. Subsequently, the thesis investigates how adaptive computation strategies, when com- bined with memory, can be utilized to create more computationally efficient AI agents at inference time for complex reasoning tasks, such as the strategic game of Sokoban. Our results exhibit that models can deliver similar or improved performances while using signifi- cantly fewer computational resources. Findings from this study have broad implications for improving the computational efficiency of AI systems, ultimately supporting the development of more affordable, accessible, and efficient AI technologies.

Dans un problème de prédiction à multiples pas discrets, la prédiction à chaque instant peut dépendre de l’entrée à n’importe quel moment dans un passé lointain. Modéliser une telle dépendance à long terme est un des problèmes fondamentaux en apprentissage automatique. En théorie, les Réseaux de Neurones Récurrents (RNN) peuvent modéliser toute dépendance à long terme. En pratique, puisque la magnitude des gradients peut croître ou décroître exponentiellement avec la durée de la séquence, les RNNs ne peuvent modéliser que les dépendances à court terme. Cette thèse explore ce problème dans les réseaux de neurones récurrents et propose de nouvelles solutions pour celui-ci. Le chapitre 3 explore l’idée d’utiliser une mémoire externe pour stocker les états cachés d’un réseau à Mémoire Long et Court Terme (LSTM). En rendant l’opération d’écriture et de lecture de la mémoire externe discrète, l’architecture proposée réduit le taux de décroissance des gradients dans un LSTM. Ces opérations discrètes permettent également au réseau de créer des connexions dynamiques sur de longs intervalles de temps. Le chapitre 4 tente de caractériser cette décroissance des gradients dans un réseau de neurones récurrent et propose une nouvelle architecture récurrente qui, grâce à sa conception, réduit ce problème. L’Unité Récurrente Non-saturante (NRUs) proposée n’a pas de fonction d’activation saturante et utilise la mise à jour additive de cellules au lieu de la mise à jour multiplicative. Le chapitre 5 discute des défis de l’utilisation de réseaux de neurones récurrents dans un contexte d’apprentissage continuel, où de nouvelles tâches apparaissent au fur et à mesure. Les dépendances dans l’apprentissage continuel ne sont pas seulement contenues dans une tâche, mais sont aussi présentes entre les tâches. Ce chapitre discute de deux problèmes fondamentaux dans l’apprentissage continuel: (i) l’oubli catastrophique d’anciennes tâches et (ii) la capacité de saturation du réseau. De plus, une solution est proposée pour régler ces deux problèmes lors de l’entraînement d’un réseau de neurones récurrent. / In a multi-step prediction problem, the prediction at each time step can depend on the input at any of the previous time steps far in the past. Modelling such long-term dependencies is one of the fundamental problems in machine learning. In theory, Recurrent Neural Networks (RNNs) can model any long-term dependency. In practice, they can only model short-term dependencies due to the problem of vanishing and exploding gradients. This thesis explores the problem of vanishing gradient in recurrent neural networks and proposes novel solutions for the same. Chapter 3 explores the idea of using external memory to store the hidden states of a Long Short Term Memory (LSTM) network. By making the read and write operations of the external memory discrete, the proposed architecture reduces the rate of gradients vanishing in an LSTM. These discrete operations also enable the network to create dynamic skip connections across time. Chapter 4 attempts to characterize all the sources of vanishing gradients in a recurrent neural network and proposes a new recurrent architecture which has significantly better gradient flow than state-of-the-art recurrent architectures. The proposed Non-saturating Recurrent Units (NRUs) have no saturating activation functions and use additive cell updates instead of multiplicative cell updates. Chapter 5 discusses the challenges of using recurrent neural networks in the context of lifelong learning. In the lifelong learning setting, the network is expected to learn a series of tasks over its lifetime. The dependencies in lifelong learning are not just within a task, but also across the tasks. This chapter discusses the two fundamental problems in lifelong learning: (i) catastrophic forgetting of old tasks, and (ii) network capacity saturation. Further, it proposes a solution to solve both these problems while training a recurrent neural network.

Ce projet a vu le jour afin de tirer de l'oubli un artiste dramatique nommé Romuald Joubé, né en 1876 et décédé en 1949. Cet homme était mon ancêtre, c'est l'oubli familial et collectif dont il a été victime qui a suscité la réalisation de ce travail. Il a eu la particularité de devenir un acteur reconnu au théâtre et au cinéma muet, en traversant deux guerres mondiales. Cette biographie s'attache à faire découvrir l'évolution du jeune comédien et celle du milieu théâtral et cinématographique de la première moitié du XXe siècle. Son parcours le mène de Saint-Gaudens à Paris, de l'Odéon à la Comédie-Française, des tournées européennes aux tournées internationales où il côtoie les grands noms du théâtre et du cinéma tels qu'André Antoine, Sarah Bernhardt, Abel Gance. Devenu une vedette il ne renie jamais sa région pyrénéenne où il crée un théâtre de verdure et défend ardemment le théâtre de plein air jusqu'à la fin de sa vie. Son éclectisme lui permet d'interpréter différents répertoires. Aussi remet-il en cause certaines idées reçues sur l'histoire du monde théâtral, par exemple le clivage entre Théâtre commercial et Théâtre littéraire. Acteur du cinéma muet, il est aussi intéressé par la radiophonie en 1936 et plus tard il fera une expérience au cinéma parlant avec Sacha Guitry. Homme entre tradition et modernité, Joubé révèle les ambiguïtés du monde artistique en temps de guerre. Cet homme aux multiples dons, à la fois acteur, dessinateur, peintre, spécialiste de la langue gasconne, se battra jusqu'à sa mort pour défendre l'art de qualité pour tous, sans jamais oublier sa famille et ses racines. / This project has been conceived to get out of oblivion Romuald Joubé (1876-1949). He was a professional dramatic artist and an ancestor of mine. Because of this familial and collective forgetting of the great works of Joubé, the main goal of this thesis is to reveal his biography. He became a famous and talented theatre and silent movie actor by crossing two world wars.This biography presents the evolution of Joubé as a young stage actor as well as the evolution of theatre and cinema during the first part of the twentieth century. From Saint-Gaudens (France) to Paris, and from Odéon to the Comédie-Française, Joubé met some of the great actors such as André Antoine, Sarah Bernhardt or Abel Gance. Even if he became famous at Paris, he did not forget his native region: Southwest of France and the Pyrénées. He created an open-air theater in this region. Until the end of his life, he promoted the open-air theatre. Joubé could play many different roles. He was also a silent film actor. Then in 1936, he got interested in radio. He accepted then sound films with Sacha Guitry. Tradition and modernity characterize this major and forgotten actor of the twentieth century. The biography of Joubé also brings us into the lives of artists of this period. Finally, Joubé, as an actor but also as a painter, a draughtsman and a defender of Gascon language. He will fight up to his dead to defend the quality art for all, without over forgetting his family and his region.