Recurrent neural networks (RNN) are known for their notorious exploding and vanishing gradient problem (EVGP). This problem becomes more evident in tasks where the information needed to correctly solve them exist over long time scales, because it prevents important gradient components from being back-propagated adequately over a large number of steps. The papers written in this work formalizes gradient propagation in parametric and semi-parametric RNNs to gain a better understanding towards the source of this problem. The first paper introduces a simple stochastic algorithm (h-detach) that is specific to LSTM optimization and targeted towards addressing the EVGP problem. Using this we show significant improvements over vanilla LSTM in terms of convergence speed, robustness to seed and learning rate, and generalization on various benchmark datasets. The next paper focuses on semi-parametric RNNs and self-attentive networks. Self-attention provides a way by which a system can dynamically access past states (stored in memory) which helps in mitigating vanishing of gradients. Although useful, it is difficult to scale as the size of the computational graph grows quadratically with the number of time steps involved. In the paper we describe a relevancy screening mechanism, inspired by the cognitive process of memory consolidation, that allows for a scalable use of sparse self-attention with recurrence while ensuring good gradient propagation. / Les réseaux de neurones récurrents (RNN) sont connus pour leur problème de gradient d'explosion et de disparition notoire (EVGP). Ce problème devient plus évident dans les tâches où les informations nécessaires pour les résoudre correctement existent sur de longues échelles de temps, car il empêche les composants de gradient importants de se propager correctement sur un grand nombre d'étapes. Les articles écrits dans ce travail formalise la propagation du gradient dans les RNN paramétriques et semi-paramétriques pour mieux comprendre la source de ce problème. Le premier article présente un algorithme stochastique simple (h-detach) spécifique à l'optimisation LSTM et visant à résoudre le problème EVGP. En utilisant cela, nous montrons des améliorations significatives par rapport au LSTM vanille en termes de vitesse de convergence, de robustesse au taux d'amorçage et d'apprentissage, et de généralisation sur divers ensembles de données de référence. Le prochain article se concentre sur les RNN semi-paramétriques et les réseaux auto-attentifs. L'auto-attention fournit un moyen par lequel un système peut accéder dynamiquement aux états passés (stockés en mémoire), ce qui aide à atténuer la disparition des gradients. Bien qu'utile, il est difficile à mettre à l'échelle car la taille du graphe de calcul augmente de manière quadratique avec le nombre de pas de temps impliqués. Dans l'article, nous décrivons un mécanisme de criblage de pertinence, inspiré par le processus cognitif de consolidation de la mémoire, qui permet une utilisation évolutive de l'auto-attention clairsemée avec récurrence tout en assurant une bonne propagation du gradient.

Les matériaux ferroélectriques sont des matériaux qui possèdent une polarisation spontanée en l'absence de champ électrique, leur conférant plusieurs propriétés intéressantes du point de vue des applications possibles. La réduction de l'épaisseur des couches ferroélectriques vers des films minces et ultra-minces s'est avérée nécessaire notamment en vue de leur intégration dans les dispositifs de la micro et nano-électronique. Cependant, cette diminution a fait apparaître certains phénomènes indésirables au sein des couches minces tels que les courants de fuite. La caractérisation électrique de ces matériaux reste donc un défi afin de comprendre les mécanismes physiques en jeu dans ces films, d'autant qu'une information à l'échelle très locale est maintenant requise. Il est donc nécessaire de faire progresser les techniques de mesure électrique pour atteindre ces objectifs. Durant cette thèse, nous mesurons la polarisation diélectrique de l'échelle mésoscopique jusqu'à l'échelle nanométrique en utilisant des caractérisations purement électriques constituées de mesures Polarisation-Tension, Capacité-Tension et Courant-Tension mais aussi des mesures électromécaniques assurées par une technique dérivée de la microscopie à force atomique et nommée Piezoresponse Force Microscopy. Au cours de nos travaux, nous montrons la limite de certaines techniques de caractérisation classiques ainsi que les artéfacts affectant la mesure électrique ou électromécanique et pouvant mener à une mauvaise interprétation des résultats de mesure. Afin de pousser nos investigations plus loin, nous avons développé de nouvelles techniques de mesure pour s'affranchir de certains signaux parasites dont nous exposerons le principe de fonctionnement. Nous présentons les premières mesures directes de polarisation rémanente à l'échelle du nanomètre grâce à une technique que nous nommons nano-PUND. Ces techniques et méthodes sont appliquées à une variété importante de matériaux tels que Pb(Zr,Ti)O3, GaFeO3 ou BaTiO3 dont, pour certains, la ferroélectricité n'a jamais été démontrée expérimentalement sans ambiguïté. / Ferroelectric materials show a spontaneous dielectric polarisation even in the absence of applied electric field, which confers them interesting possibilities of applications. The reduction of the thickness of ferroelectric layers towards ultra-thin values has been necessary in view of their integration in micro and nano-electronic devices. However, the reduction of thickness has been accompanied by unwanted phenomena in thin layers such as tunneling currents and more generally leakage currents. The electrical characterization of these materials remains a challenge which aims at better understanding the physical mechanisms at play, and requires now a nanometric spatial resolution. To do so, it is thus mandatory to enhance the techniques of electrical measurement. In this work, we measure the dielectric polarisation of ferroelectric films from mesoscopic scale down to the nanometric scale using purely electric characterisation techniques (Polarisation vs Voltage, Capacitance vs Voltage, Current vs Voltage), but also electro-mechanical techniques like Piezoresponse Force Microscopy which derives from Atomic Force Microscopy. We show the limits of several classical techniques as well as the artefacts which affect electrical or electro-mechanical measurement and may lead to an incorrect interpretation of the data. In order to push the investigation further, we have developed and we describe new measurement techniques which aim at avoiding some parasitic signals. We present the first direct measurement of the remnent polarisation at the nanoscale thanks to a technique which we call « nano-PUND ». These techniques and methods are applied to a large variety of materials like Pb(Zr,Ti)O3, GaFeO3 or BaTiO3 which (for some of them), ferroelectricity has not been measured experimentally.