La régulation de la transcription est l‟un des processus cellulaires des plus fondamentaux et constitue la première étape menant à l‟expression protéique. Son altération a des effets sur l‟homéostasie cellulaire et est associée au développement de maladies telles que le cancer. Il est donc crucial de comprendre les règles fondamentales de la fonction cellulaire afin de mieux cibler les traitements pour les maladies. La transcription d‟un gène peut se produire selon l‟un des deux modes fondamentaux de transcription : en continu ou en burst. Le premier est décrit comme un processus aléatoire et stochastique qui suit une distribution de Poisson. À chaque initiation de la transcription, indépendante de la précédente, un seul transcrit est produit. L‟expression en burst se produit lorsque le promoteur est activé pour une courte période de temps pendant laquelle plusieurs transcrits naissants sont produits. Apportant la plus grande variabilité au sein d‟une population isogénique, il est représenté par une distribution bimodale, où une sous-population n‟exprime pas le gène en question, alors que le reste de la population l‟exprime fortement. Les gènes des eucaryotes inférieurs sont pour la plupart exprimés de manière continuelle, alors que les gènes des eucaryotes supérieurs le sont plutôt en burst. Le but de ce projet est d‟étudier comment l‟expression des gènes a évolué et si la transcription aléatoire, ou de Poisson, est une propriété des eucaryotes inférieurs et si ces patrons ont changé avec la complexité des organismes et des génomes. Par la technique de smFISH, nous avons étudié de manière systématique quatre gènes évolutivement conservés (mdn1+, PRP8/spp42+, pol1+ et cdc13+) qui sont continuellement transcrits dans la levure S. cerevisiae. Nous avons observé que le mode d‟expression est gène-et-organisme spécifique puisque prp8 est exprimé de manière continuelle dans la levure S. pombe, alors que les autres gènes seraient plutôt exprimés en légers burst. / Regulating transcription is one of the most fundamental cellular processes and the first step of a long cascade of processes leading to protein expression. Altering transcriptional output often has major effects on cellular homeostasis and is associated with many disease phenotypes, such as cancer. Understanding the fundamental rules governing transcription regulation is therefore instrumental in understanding cellular function as well as in finding disease treatments. Transcription of a gene can occur through two fundamental different modes: “continuous” or “bursting”. Continuous transcription is defined as stochastic process where a promoter is always in its “on” state and each initiation event is independent of the previous. Bursting transcription occurs when a promoter is activated for a short time and multiple mRNAs are produced during the “on” state, followed by long periods of transcription inactivity. It leads to greater variability in an isogenic population, as expression is often bimodal as a sub-population does not express a given gene. Bursting expression is frequently observed in higher eukaryotes, while a continuous pattern seems to be common in lower eukaryotes. The goal of this project is to study how gene expression patterns evolved. We investigate whether Poisson-like transcription is a property of lower eukaryotes and whether transcription patterns have changed when organisms and genomes evolved into more complex systems. Using smFISH, we have systematically determined expression patterns of four evolutionarily conserved genes; mdn1+, PRP8/spp42+, pol1+ and cdc13+, previously shown to be continuously expressed in the yeast S. cerevisiae. Expression was studied in the yeast S. pombe, as an example for another lower eukaryote as well as in human cell-lines. We observe that expression patterns are organism-and-gene specific suggesting that expression patterns have evolved to fulfill gene specific functions.

Le temps de mélange de la chaîne de Markov induite par une politique limite ses performances dans les scénarios réels d'apprentissage continu. Pourtant, l'effet des temps de mélange sur l'apprentissage dans l'apprentissage par renforcement (RL) continu reste peu exploré. Dans cet article, nous caractérisons des problèmes qui sont d'un intérêt à long terme pour le développement de l'apprentissage continu, que nous appelons processus de décision markoviens (MDP) « extensibles » (scalable), à travers le prisme des temps de mélange. En particulier, nous établissons théoriquement que les MDP extensibles ont des temps de mélange qui varient de façon polynomiale avec la taille du problème. Nous démontrons ensuite que les temps de mélange polynomiaux présentent des difficultés importantes pour les approches existantes, qui souffrent d'un biais myope et d'estimations à base de ré-échantillonnage avec remise ensembliste (bootstrapping) périmées. Pour valider notre théorie, nous étudions la complexité des temps de mélange en fonction du nombre de tâches et de la durée des tâches pour des politiques très performantes déployées sur plusieurs jeux Atari. Notre analyse démontre à la fois que des temps de mélange polynomiaux apparaissent en pratique et que leur existence peut conduire à un comportement d'apprentissage instable, comme l'oubli catastrophique dans des contextes d'apprentissage continu. / The mixing time of the Markov chain induced by a policy limits performance in real-world continual learning scenarios. Yet, the effect of mixing times on learning in continual reinforcement learning (RL) remains underexplored. In this paper, we characterize problems that are of long-term interest to the development of continual RL, which we call scalable MDPs, through the lens of mixing times. In particular, we theoretically establish that scalable MDPs have mixing times that scale polynomially with the size of the problem. We go on to demonstrate that polynomial mixing times present significant difficulties for existing approaches, which suffer from myopic bias and stale bootstrapped estimates. To validate our theory, we study the empirical scaling behavior of mixing times with respect to the number of tasks and task duration for high performing policies deployed across multiple Atari games. Our analysis demonstrates both that polynomial mixing times do emerge in practice and how their existence may lead to unstable learning behavior like catastrophic forgetting in continual learning settings.

Dans un problème de prédiction à multiples pas discrets, la prédiction à chaque instant peut dépendre de l’entrée à n’importe quel moment dans un passé lointain. Modéliser une telle dépendance à long terme est un des problèmes fondamentaux en apprentissage automatique. En théorie, les Réseaux de Neurones Récurrents (RNN) peuvent modéliser toute dépendance à long terme. En pratique, puisque la magnitude des gradients peut croître ou décroître exponentiellement avec la durée de la séquence, les RNNs ne peuvent modéliser que les dépendances à court terme. Cette thèse explore ce problème dans les réseaux de neurones récurrents et propose de nouvelles solutions pour celui-ci. Le chapitre 3 explore l’idée d’utiliser une mémoire externe pour stocker les états cachés d’un réseau à Mémoire Long et Court Terme (LSTM). En rendant l’opération d’écriture et de lecture de la mémoire externe discrète, l’architecture proposée réduit le taux de décroissance des gradients dans un LSTM. Ces opérations discrètes permettent également au réseau de créer des connexions dynamiques sur de longs intervalles de temps. Le chapitre 4 tente de caractériser cette décroissance des gradients dans un réseau de neurones récurrent et propose une nouvelle architecture récurrente qui, grâce à sa conception, réduit ce problème. L’Unité Récurrente Non-saturante (NRUs) proposée n’a pas de fonction d’activation saturante et utilise la mise à jour additive de cellules au lieu de la mise à jour multiplicative. Le chapitre 5 discute des défis de l’utilisation de réseaux de neurones récurrents dans un contexte d’apprentissage continuel, où de nouvelles tâches apparaissent au fur et à mesure. Les dépendances dans l’apprentissage continuel ne sont pas seulement contenues dans une tâche, mais sont aussi présentes entre les tâches. Ce chapitre discute de deux problèmes fondamentaux dans l’apprentissage continuel: (i) l’oubli catastrophique d’anciennes tâches et (ii) la capacité de saturation du réseau. De plus, une solution est proposée pour régler ces deux problèmes lors de l’entraînement d’un réseau de neurones récurrent. / In a multi-step prediction problem, the prediction at each time step can depend on the input at any of the previous time steps far in the past. Modelling such long-term dependencies is one of the fundamental problems in machine learning. In theory, Recurrent Neural Networks (RNNs) can model any long-term dependency. In practice, they can only model short-term dependencies due to the problem of vanishing and exploding gradients. This thesis explores the problem of vanishing gradient in recurrent neural networks and proposes novel solutions for the same. Chapter 3 explores the idea of using external memory to store the hidden states of a Long Short Term Memory (LSTM) network. By making the read and write operations of the external memory discrete, the proposed architecture reduces the rate of gradients vanishing in an LSTM. These discrete operations also enable the network to create dynamic skip connections across time. Chapter 4 attempts to characterize all the sources of vanishing gradients in a recurrent neural network and proposes a new recurrent architecture which has significantly better gradient flow than state-of-the-art recurrent architectures. The proposed Non-saturating Recurrent Units (NRUs) have no saturating activation functions and use additive cell updates instead of multiplicative cell updates. Chapter 5 discusses the challenges of using recurrent neural networks in the context of lifelong learning. In the lifelong learning setting, the network is expected to learn a series of tasks over its lifetime. The dependencies in lifelong learning are not just within a task, but also across the tasks. This chapter discusses the two fundamental problems in lifelong learning: (i) catastrophic forgetting of old tasks, and (ii) network capacity saturation. Further, it proposes a solution to solve both these problems while training a recurrent neural network.