Cette thèse est dédiée à l’étude du phénomène d’explosion en temps fini pour les équations semi-linéaires des ondes. On traite deux modèles dans ce travail.Dans une première direction, on considère l’équation semi-linéaire des ondes à valeurs complexes avec une nonlinéarité en puissance. On caractérise d’abord toutes les solutions du problème stationnaire comme une famille à deux paramètres.Ensuite, on utilise une approche de système dynamique pour montrer que la solution en transformation auto-similaire s’approche d’une solution stationnaire particulière dans l’espace d’énergie, dans le cas des points non caractéristiques.Ceci donne le profil à l’explosion pour l’équation originale dans le cas non-caractéristique.Dans une seconde direction, on étudie l’exemple de l’équation des ondes avec source exponentielle critique en dimension 1. On généralise les résultats de Godin pour une classe de données initiales beaucoup plus grandes. On prouve des estimations à l’explosion pour tout point de l’espace et on donne une estimation optimale du taux d’explosion pour les points non-caractéristiques. / This thesis is devoted to the study of the finite time blow-up phenomena for the semilinear waves equations. We treat two models in this work.In the first part, we consider a complex-valued solution for the semilinear wave equation with power nonlinearity. We first characterize all the solutions of the associated stationary problem as a two-parameter family. Then, weuse a dynamical system formulation to show that the solution in self-similar variables approaches some particular stationary one in the energy norm, in the non-characteristic case. This gives the blow-up profile for the original equation in the non-characteristic case.The second part is dedicated to the study of the semilinear wave equation with exponential nonlinearity in one space dimension. We generalize the results of Godin to a much larger class of initial data. We prove blow-up estimates near any point and give an optimal bound on the blow-up rate near the non characteristic points.

Dans cette thèse on étudie des équations de la mécanique des fluides. On considère deux modèles : les équations de Navier-Stokes équation dans R3 en présence d'une force extérieure, et l'équation de Prandtl dans le demi plan. Pour le système de Navier-Stokes, on s'intéresse à l'existence locale en temps, l'unicité, le comportement global en temps et des critères d'explosion. Pour l'équation de Prandtl dans le demi plan, on s'intéresse à la régularité Gevrey. Le manuscrit est constitué de quatre chapitres. Dans le premier chapitre, on introduit quelques concepts de base sur les équations de la mécanique des fluides et on rappelle le sens physique des deux modèles précédents ainsi que quelques résultats mathématiques. Ensuite on énonce brièvement nos principaux résultats et les motivations. Enfin on mentionne quelques problèmes ouverts. Le second chapitre est consacré au problème de Cauchy pour les équations de Navier-Stokes dans R3 en présence d'une petite force extérieure, peu régulière. On démontre l'existence locale en temps pour ce système pour toute donnée initiale appartenant à un espace de Besov critique avec régularité négative. On obtient de plus trois résultats d'unicité pour ces solutions. Enfin on étudie le comportement en temps grand et la stabilité de solutions a priori globales. Le troisième chapitre traite d'un critère d'explosion pour les équations de Navier-Stokes avec une force extérieure indépendante du temps. On met en place une décomposition en profils pour les équations de Navier-Stokes forcées. Cette décomposition permet de faire un lien entre les équations forcées et non forcées, ce qui permet de traduire une information d'explosion de la solution non forcée vers la solution forcée. Dans le Chapitre 4 on étudie l'effet régularisant Gevrey de la solution locale en temps de l'équation de Prandtl dans le demi plan. Il est bien connu que l'équation de couche limite de Prandtl est instable pour des données initiales générales, et bien posée dans des espaces de Sobolev pour des données initiales monotones. Sous une hypothèse de monotonie de la vitesse tangentielle du flot, on démontre la régularité Gevrey pour la solution de l'équation de Prandtl dans le demi plan pour des données initiales dans un espace de Sobolev. / This thesis deals with equations of fluid dynamics. We consider the following two models: one is the Navier-Stokes equation in R3 with an external force, the other one is the Prandtl equation on the half plane. For the Navier-Stokes system, we focus on the local in time existence, uniqueness, long-time behavior and blowup criterion. For the Prandtl equation on the half-plane, we consider the Gevrey regularity. This thesis consists in four chapters. In the first chapter, we introduce some background on equations of fluid dynamics and recall the physical meaning of the above two models as well as some well-known mathematical results. Next, we state our main results and motivations briefly. At last we mention some open problems. The second chapter is devoted to the Cauchy problem for the Navier-Stokes equation equipped with a small rough external force in R3. We show the local in time existence for this system for any initial data belonging to a critical Besov space with negative regularity. Moreover we obtain three kinds of uniqueness results for the above solutions. Finally, we study the long-time behavior and stability of priori global solutions.The third chapter deals with a blow-up criterion for the Navier-Stokes equation with a time independent external force. We develop a profile decomposition for the forced Navier-Stokes equation. The decomposition enables us to connect the forced and the unforced equations, which provides the blow-up information from the unforced solution to the forced solution. In Chapter 4, we study the Gevrey smoothing effect of the local in time solution to the Prandtl equation in the half plane. It is well-known that the Prandtl boundary layer equation is unstable for general initial data, and is well-posed in Sobolev spaces for monotonic initial data. Under a monotonicity assumption on the tangential velocity of the outflow, we prove Gevrey regularity for the solution to Prandtl equation in the half plane with initial data belonging to some Sobolev space.

Le vide, de part sa nature et le rôle qu'il joue dans la description des phénomènes de infiniment petit comme ceux de infiniment grand, sert de fil conducteur pour introduire les différents travaux expérimentaux présentés dans ce manuscrit. En partant de infiniment petit, la préparation à la recherche de nouvelle physique au-delà du modèle standard de physique des particules est exposée avec le prototypage d'un calorimètre à argon liquide pour l'expérience ATLAS. Puis la recherche de supersymétrie avec violation de la R-parité auprès du détecteur ALEPH est présentée. Le modèle standard de la cosmologie est ensuite détaillé avec l'apparition de la mystérieuse énergie noire qui est à l'origine de l'accélération actuelle de notre univers. Cette accélération peut être mesurée grâce aux observations de supernovæ du sondage SNLS qui est présenté avec ses différentes phases : recherche des supernovæs puis mesure des paramètres cosmologiques et du taux d'explosion des supernovæ de type Ia.

Cette thèse est consacrée à l'analyse des singularités apparaissant dans des équations différentielles partielles elliptiques non linéaires découlant de la physique mathématique, de la biologie mathématique, et de la géométrie conforme. Les thèmes abordés sont le modèle de supraconductivité de Ginzburg-Landau, le problème de Lin-Ni-Takagi, le modèle de Keller-Segel de la chimiotaxie, et le problème de courbure scalaire prescrite. Le modèle de Ginzburg-Landau est une description phénoménologique de la supraconductivité. Une caractéristique essentielle des supraconducteurs de type II est la présence de vortex, qui apparaissent au-dessus d'une certaine valeur de la force du champ magnétique appliqué, appelée premier champ critique. Nous nous intéressons au régime de epsilon petit, où epsilon est l'inverse du paramètre de Ginzburg-Landau (une constante du matériau). Dans ce régime, les vortex sont au premier ordre des singularités topologiques de co-dimension 2. Nous fournissons une construction quantitative par approximation de vortex en dimension trois pour l'énergie de Ginzburg-Landau, ce qui donne une approximation des lignes de vortex ainsi qu'une borne inférieure pour l'énergie, qui est optimale au premier ordre et vérifiée au niveau epsilon. En utilisant ces outils, nous analysons ensuite le comportement des minimiseurs globaux en dessous et proche du premier champ critique. Nous montrons que, en dessous de cette valeur critique, les minimiseurs de l'énergie de Ginzburg-Landau sont des configurations sans vortex et que les minimiseurs, proche de cette valeur, ont une vorticité bornée. Le problème de Lin-Ni-Takagi apparait comme l'ombre (dans la littérature anglaise ``shadow'') du système de Gierer-Meinhardt d'équations de réaction-diffusion qui modélise la formation de motifs biologiques. Ce problème est celui de trouver des solutions positives d'une équation critique dans un domaine régulier et borné de dimension trois, avec une condition de Neumann homogène au bord. Dans cette thèse, nous construisons des solutions à ce problème présentant un comportement explosif en un point du domaine, lorsqu'un certain paramètre converge vers une valeur critique. La chimiotaxie est l'influence de substances chimiques dans un environnement sur le mouvement des organismes. Le modèle de Keller-Segel pour la chimiotaxie est un système de diffusion-advection composé de deux équations paraboliques couplées. Ici, nous nous intéressons aux états stationnaires radiaux de ce système. Nous sommes alors amenés à étudier une équation critique dans la boule unité de dimension 2, avec une condition de Neumann homogène au bord. Dans cette thèse, nous construisons plusieurs familles de solutions radiales qui explosent à l'origine de la boule, et se concentrent sur le bord et/ou sur une sphère intérieure, lorsqu' un certain paramètre converge vers zéro. Enfin, nous étudions le problème de la courbure scalaire prescrite. Étant donnée une variété Riemannienne compacte de dimension n, nous voulons trouver des métriques conformes dont la courbure scalaire soit une fonction prescrite, qui dépend d'un petit paramètre. Nous supposons que cette fonction a un point critique qui satisfait une hypothèse de platitude appropriée. Nous construisons plusieurs métriques, qui explosent lorsque le paramètre converge vers zéro, avec courbure scalaire prescrite. / This thesis is devoted to the analysis of singularities in nonlinear elliptic partial differential equations arising in mathematical physics, mathematical biology, and conformal geometry. The topics treated are the Ginzburg-Landau model of superconductivity, the Lin-Ni-Takagi problem, the Keller-Segel model of chemotaxis, and the prescribed scalar curvature problem. The Ginzburg-Landau model is a phenomenological description of superconductivity. An essential feature of type-II superconductors is the presence of vortices, which appear above a certain value of the strength of the applied magnetic field called the first critical field. We are interested in the regime of small epsilon, where epsilon is the inverse of the Ginzburg-Landau parameter (a material constant). In this regime, the vortices are at main order co-dimension 2 topological singularities. We provide a quantitative three-dimensional vortex approximation construction for the Ginzburg-Landau energy, which gives an approximation of vortex lines coupled to a lower bound for the energy, which is optimal to leading order and valid at the epsilon-level. By using these tools we then analyze the behavior of global minimizers below and near the first critical field. We show that below this critical value, minimizers of the Ginzburg-Landau energy are vortex-free configurations and that near this value, minimizers have bounded vorticity. The Lin-Ni-Takagi problem arises as the shadow of the Gierer-Meinhardt system of reaction-diffusion equations that models biological pattern formation. This problem is that of finding positive solutions of a critical equation in a bounded smooth three-dimensional domain, under zero Neumann boundary conditions. In this thesis, we construct solutions to this problem exhibiting single bubbling behavior at one point of the domain, as a certain parameter converges to a critical value. Chemotaxis is the influence of chemical substances in an environment on the movement of organisms. The Keller-Segel model for chemotaxis is an advection-diffusion system consisting of two coupled parabolic equations. Here, we are interested in radial steady states of this system. We are then led to study a critical equation in the two-dimensional unit ball, under zero Neumann boundary conditions. In this thesis, we construct several families of radial solutions which blow up at the origin of the ball and concentrate on the boundary and/or an interior sphere, as a certain parameter converges to zero. Finally, we study the prescribed scalar curvature problem. Given an n-dimensional compact Riemannian manifold, we are interested in finding bubbling metrics whose scalar curvature is a prescribed function, depending on a small parameter. We assume that this function has a critical point which satisfies a suitable flatness assumption. We construct several metrics, which blow-up as the parameter goes to zero, with prescribed scalar curvature.

Cette thèse est consacrée à l'analyse mathématique de l'équation d'Euler incompressible à surface libre. On se concentre sur la propriété dispersive et sur la théorie de Cauchy à faible régularité. Une grande part de la thèse est consacrée à l'étude de l'équation des ondes de gravité-capillarité. On établit des critères d'explosion et la persistance de régularité dans les espaces de Sobolev. En démontrant les estimations de Strichartz pour les solutions à faible régularité, on obtient des théories de Cauchy pour les données initiales dont la vitesse peut être non-lipschitzienne. Dans une autre part de la thèse, on étudie la propriété dispersive des équations des ondes de surface. Plus précisément, on s'intéresse aux estimations de Strichartz. On démontre que, pour les solutions raisonnablement régulières, les équations des ondes de surface non linéaires obéissent aux mêmes estimations de Strichartz comme dans le cas des équations linéarisées. / This dissertation is devoted to the mathematical analysis of the water waves systems. We focus on the dispersive property and the Cauchy problem for rough initial data. One of the main objects of study is the gravity-capillary water waves system. We establish blow-up criteria and the persistence of Sobolev regularity. By proving Strichartz estimates for rough solutions, we obtain Cauchy theories for non-Lipschitz initial velocity. In another part of the dissertation, we study the dispersive property of the fully nonlinear water waves systems. More specifically, we are interested in Strichartz estimates. We prove for sufficiently smooth solutions that the nonlinear systems obey the same Strichartz estimates as their linearizations do.

Le sujet de cette thèse est la formation de singularités pour certaines équations d'évolution dispersives et/ou dissipatives non-linéaires. Notre travail est axé sur les problèmes de Cauchy, généralement avec des conditions aux limites périodiques ou dans tout $\mathbb{R}^n$. Notre objectif est de fournir les conditions nécessaires ou suffisantes (ou les deux) sur les données initiales $u_0(x)$, garantissant que la durée de vie $T^{*}$ de la solution résultant de $u_0$ est finie ou non. Nous étudions deux types d'équations : une équation parabolique non linéaires et une classe d'équations d'ondes dispersives. La première équation étudiée est un modèle $1D$ de propagation d’ondes non-linéaires, qui apparaît par exemple dans l'étude des vagues dans un canal ou des déformations d’une barre hyper-élastique. L'une des contributions décisives de notre travail sera celle-ci : la seule solution forte globale périodique du problème de Cauchy de la barre hyper-élastique qui s’annule en au moins un point est la solution identiquement nulle. Nous établissons également l'analogue de ce résultat dans le cas des solutions non-périodiques définies sur toute la droite réelle, avec limite nulle à l'infini. Notre analyse repose sur l'application de nouveaux critères d'explosion "locaux en espace” (local-in-space blowup criteria). Une deuxième équation étudiée est une généralisation de l'équation de la barre hyperélastique qui a été proposée par H. Holden et X. Raynaud. Cette généralisation peut couvrir de nombreux autres types d'équations avec des propriétés mathématiques intéressantes. Nous établirons alors des critères d'explosion locaux en espace pour les solutions de ce modèle. Plus précisément, il s'agira de critères qui ne font intervenir que les propriétés de la condition initiale $u_0$ au voisinage d'un seul point. Ils simplifient et étendent de précédents critères d'explosion pour cette équation. Ensuite, nous nous sommes intéressés à une famille d'équations connue dans la littérature sous le nom $b$-family equations. L'un des cas les plus notables de cette famille d'équations est l'équation de Degasperis-Procesi. Pour cette famille, nous avons obtenu des résultats similaires à ceux décris précédemment. Enfin, dans la dernière partie, il s'agit d'étudier le caractère bien posé, local ou global en temps, dans des espaces fonctionnels issus de l'analyse harmonique et ayant les bonnes propriétés d'invariance par rapport aux changements d'échelle. Nous étudions le problème de Cauchy non linéaire de l'équation de la chaleur. Après avoir établi une extension du résultat d'Y. Meyer sur l’existence de solutions globales à données petites dans les espaces de Besov homogènes $\dot{B}_{p}^{-\sigma, \infty}(\mathbb{R}^{3})$, où $3 < p < 9$ et $\sigma=1-3/p$, nous prouvons que les données initiales $u_0\in \mathcal{S}(\mathbb{R}^{3})$, arbitrairement petites dans ${\dot B^{-2/3,\infty}_{9}}(\mathbb{R}^{3})$, peuvent produire des solutions qui explosent en temps fini. En outre, cette explosion peut se produire après un temps arbitrairement court / The subject of this thesis is the formation of singularities for some nonlinear evolution equations of dissipative and/or dispersive type. Our work is focused on the Cauchy problems, usually with periodic boundary conditions or on the whole $\mathbb{R}^{n}$. Our aim is to provide the necessary or sufficient conditions (or both) on the initial data $u_0 (x)$, ensuring that the lifetime $T^{*}$ of the solution resulting from $u_0$ is finite or not. We study two types of equations: a nonlinear parabolic equation and a class of dispersive wave equations. In the first case, we study a one-dimensional model which describe the propagation of nonlinear waves in a channel or the deformations of a hyper-elastic rod. One decisive contibutions of our work will be this: the only global strong periodic solution of the rod equation vanishing in at least one point is the identically zero solution. We also establish the analogue of this result in the case of non-periodic solutions defined on the whole real line which vanish at infinity. Our analysis is based on the application of new local-in-space blowup criteria. The second equation that we consider is a generalization of the rod equation which was proposed by H. Holden and X. Raynaud. This generalization covers many other equations with interesting mathematical properties. We will establish criteria for the blowup in finite time that involve only the properties of the data $u_0$ in a neighborhood of a single point, thus simplifying and extending earlier blowup criteria for this equation. After, we study family of equations known in the literature as the $b$-family equations. One of the most notable cases of this family of equations is the Degasperis-Procesi equation. For this family we obtain similar results as those described above. Finally, the last part, we study the well-posedness, locally or globally in time of the nonlinear heat equation, in functional spaces having appropriate invariance properties relative to scale changes. After extending Y. Meyer's result establishing the existence of global solutions, under a smallness condition of the initial data in the homogeneous Besov spaces $\dot{B}_{p}^{-\sigma, \infty}(\mathbb{R}^{3})$, where $3 < p < 9$ and $\sigma=1-3/p$, we prove that initial data $u_0\in \mathcal{S}(\mathbb{R}^{3})$, arbitrarily small in ${\dot B^{-2/3,\infty}_{9}}(\mathbb{R}^{3})$, can produce solutions that explode in finite time. In addition, the blowup may occur after an arbitrarily short time.

Dans cette thèse, nous nous sommes intéressés aux équations différentielles fractionnaires. Nous avons commencé par l'étude d'une équation différentielle fractionnaire en temps. Ensuite, nous avons étudié trois systèmes fractionnaires non linéaires ; le premier avec un Laplacien fractionnaire et les autres avec une dérivée fractionnaire en temps définie au sens de Caputo. Dans le premier chapitre, nous avons établi les propriétés qualitatives de la solution d'une équation différentielle fractionnaire en temps qui modélise l'évolution d'une certaine espèce. Plus précisément, l'existence et l'unicité de la solution globale sont démontrées pour certaines valeurs de la condition initiale. Dans ce cas, nous avons obtenu le comportement asymptotique de la solution en t^α. Sous une autre condition sur la donnée initiale, la solution explose en temps fini. Le profil de la solution et l'estimation du temps d'explosion sont établis et une confirmation numérique de ces résultats est présentée. Les chapitres 4, 5 et 6 sont consacrés à l'étude théorique de trois systèmes fractionnaires : un système de la diffusion anormale qui décrit la propagation d'une épidémie infectieuse de type SIR dans une population confinée, le Brusselator avec une dérivée fractionnaire en temps et un système fractionnaire en temps avec une loi de balance. Pour chaque système, on présente l'existence globale et le comportement asymptotique des solutions. L'existence et l'unicité de la solution locale pour les trois systèmes sont obtenues par le théorème de point fixe de Banach. Cependant, le comportement asymptotique est établi par des techniques différentes : le comportement asymptotique de la solution du premier système est démontré en se basant sur les estimations du semi-groupe et le théorème d'injection de Sobolev. Concernant le Brusselator fractionnaire, la technique utilisée s'appuie sur un argument de feedback. Finalement, un résultat de régularité maximale est utilisé pour l'étude du dernier système. / In this thesis, we are interested in fractional differential equations. We begin by studying a time fractional differential equation. Then we study three fractional nonlinear systems ; the first system contains a fractional Laplacian, while the others contain a time fractional derivative in the sense of Caputo. In the second chapter, we establish the qualitative properties of the solution of a time fractional equation which describes the evolution of certain species. The existence and uniqueness of the global solution are proved for certain values of the initial condition. In this case, the asymptotic behavior of the solution is dominated by t^α. Under another condition, the solution blows-up in a finite time. The solution profile and the blow-up time estimate are established and a numerical confirmation of these results is presented. The chapters 4, 5 and 6 are dedicated to the study of three fractional systems : an anomalous diffusion system which describes the propagation of an infectious disease in a confined population with a SIR type, the time fractional Brusselator and a time fractional reaction-diffusion system with a balance law. The study includes the global existence and the asymptotic behavior. The existence and uniqueness of the local solution for the three systems are obtained by the Banach fixed point theorem. However, the asymptotic behavior is investigated by different techniques. For the first system our results are proved using semi-group estimates and the Sobolev embedding theorem. Concerned the time fractional Brusselator, the used technique is based on an argument of feedback. Finally, a maximal regularity result is used for the last system.

Notre objectif dans cette thèse est l'étude des équations différentielles non linéaires comportant des dérivées fractionnaires en temps et/ou en espace. Nous nous sommes intéressés dans un premier temps à l'étude de deux systèmes non linéaires d'équations différentielles fractionnaires en temps et/ou en espace, puis à l'étude d'une équation différentielle fractionnaire en temps. Plus exactement pour la première partie, les questions concernant l'existence globale et le comportement asymptotique des solutions d'un système non linéaire d'équations différentielles comportant des dérivées fractionnaires en temps et en espace sont élucidées. Les techniques utilisées reposent sur des estimations obtenues pour les solutions fondamentales et la comparaison de certaines inégalités fractionnaires. Toujours dans la première partie, l'étude d'un système non linéaire d'équations de réaction-diffusion avec des dérivées fractionnaires en espace est abordée. L'existence locale et l'unicité des solutions sont prouvées à l'aide du théorème du point fixe de Banach. Nous montrons que les solutions sont bornées et analysons leur comportement à l'infini. La deuxième partie est consacrée à l'étude d'une équation différentielle fractionnaire non linéaire. Sous certaines conditions sur la donnée initiale, nous montrons que la solution est globale alors que sous d'autres, elle explose en temps fini. Dans ce dernier cas, nous donnons son profil ainsi que des estimations bilatérales du temps d'explosion. Alors que pour la solution globale nous étudions son comportement asymptotique. / Our objective in this thesis is the study of nonlinear differential equations involving fractional derivatives in time and/or in space. First, we are interested in the study of two nonlinear time and/or space fractional systems. Our second interest is devoted to the analysis of a time fractional differential equation. More exactly for the first part, the question concerning the global existence and the asymptotic behavior of a nonlinear system of differential equations involving time and space fractional derivatives is addressed. The used techniques rest on estimates obtained for the fundamental solutions and the comparison of some fractional inequalities. In addition, we study a nonlinear system of reaction-diffusion equations with space fractional derivatives. The local existence and the uniqueness of the solutions are proved using the Banach fixed point theorem. We show that the solutions are bounded and analyze their large time behavior. The second part is dedicated to the study of a nonlinear time fractional differential equation. Under some conditions on the initial data, we show that the solution is global while under others, it blows-up in a finite time. In this case, we give its profile as well as bilateral estimates of the blow-up time. While for the global solution we study its asymptotic behavior.

Recurrent neural networks (RNN) are known for their notorious exploding and vanishing gradient problem (EVGP). This problem becomes more evident in tasks where the information needed to correctly solve them exist over long time scales, because it prevents important gradient components from being back-propagated adequately over a large number of steps. The papers written in this work formalizes gradient propagation in parametric and semi-parametric RNNs to gain a better understanding towards the source of this problem. The first paper introduces a simple stochastic algorithm (h-detach) that is specific to LSTM optimization and targeted towards addressing the EVGP problem. Using this we show significant improvements over vanilla LSTM in terms of convergence speed, robustness to seed and learning rate, and generalization on various benchmark datasets. The next paper focuses on semi-parametric RNNs and self-attentive networks. Self-attention provides a way by which a system can dynamically access past states (stored in memory) which helps in mitigating vanishing of gradients. Although useful, it is difficult to scale as the size of the computational graph grows quadratically with the number of time steps involved. In the paper we describe a relevancy screening mechanism, inspired by the cognitive process of memory consolidation, that allows for a scalable use of sparse self-attention with recurrence while ensuring good gradient propagation. / Les réseaux de neurones récurrents (RNN) sont connus pour leur problème de gradient d'explosion et de disparition notoire (EVGP). Ce problème devient plus évident dans les tâches où les informations nécessaires pour les résoudre correctement existent sur de longues échelles de temps, car il empêche les composants de gradient importants de se propager correctement sur un grand nombre d'étapes. Les articles écrits dans ce travail formalise la propagation du gradient dans les RNN paramétriques et semi-paramétriques pour mieux comprendre la source de ce problème. Le premier article présente un algorithme stochastique simple (h-detach) spécifique à l'optimisation LSTM et visant à résoudre le problème EVGP. En utilisant cela, nous montrons des améliorations significatives par rapport au LSTM vanille en termes de vitesse de convergence, de robustesse au taux d'amorçage et d'apprentissage, et de généralisation sur divers ensembles de données de référence. Le prochain article se concentre sur les RNN semi-paramétriques et les réseaux auto-attentifs. L'auto-attention fournit un moyen par lequel un système peut accéder dynamiquement aux états passés (stockés en mémoire), ce qui aide à atténuer la disparition des gradients. Bien qu'utile, il est difficile à mettre à l'échelle car la taille du graphe de calcul augmente de manière quadratique avec le nombre de pas de temps impliqués. Dans l'article, nous décrivons un mécanisme de criblage de pertinence, inspiré par le processus cognitif de consolidation de la mémoire, qui permet une utilisation évolutive de l'auto-attention clairsemée avec récurrence tout en assurant une bonne propagation du gradient.