Cette thèse concerne la modélisation de la dynamique des courbes des taux internationales avec prise en compte de plusieurs canaux de dépendance. A l’aide d’une nouvelle base de données des taux souverains internationaux, nous observons que le critère de la variabilité expliquée, proposé par la littérature, n’est pas capable de sélectionner une meilleure combinaison des facteurs décrivant la dynamique jointe des courbes des taux. Nous proposons une méthode nouvelle de section des facteurs fondée sur la maximisation de vraisemblance d’un modèle espace-état linéaire gaussien avec facteurs communs et locaux. Le problème d’identification associée est résolu d’une façon novatrice. En estimant différents combinaisons de pays, nous sélectionnons des deux facteurs globaux et trois locaux ayant un pouvoir prédictif des variables macro-économiques (activité économique et taux d’inflation) dans chaque économie considérée. Notre méthode nous permet aussi de détecter des facteurs cachés dans les rendements obligataires. Ils ne sont pas visibles à travers une analyse classique en composant principales des rendements obligataires et ils contribuent à la prévision du taux d’inflation et du taux de croissance de la production industrielle. / The aim of this thesis is to model the dynamics of international term structure of interest rates taking into consideration several dependence channels.Thanks to a new international Treasury yield curve database, we observe that the explained variability decision criterion, suggested by the literature, is not able to select the best combination of factors characterizing the joint dynamics of yield curves. We propose a new methodology based on the maximisation of the likelihood function of a Gaussian state-space model with common and local factors. The associated identification problem is solved in an innovative way. By estimating several sets of countries, we select two global (and three local) factors which are also useful to forecast macroeconomic variables in each considered economy.In addition, our method allows us to detect hidden factors in the international bond returns. They are not visible through a classical principal component analysis of expected bond returns but they are helpful to forecast inflation and industrial production. Keywords: International treasury yield curves, common and local factors, state-space models, EM algorithm, International bond risk premia, principal components.

Ma thèse est composée de trois chapitres reliés à l'estimation des modèles espace-état et volatilité stochastique. Dans le première article, nous développons une procédure de lissage de l'état, avec efficacité computationnelle, dans un modèle espace-état linéaire et gaussien. Nous montrons comment exploiter la structure particulière des modèles espace-état pour tirer les états latents efficacement. Nous analysons l'efficacité computationnelle des méthodes basées sur le filtre de Kalman, l'algorithme facteur de Cholesky et notre nouvelle méthode utilisant le compte d'opérations et d'expériences de calcul. Nous montrons que pour de nombreux cas importants, notre méthode est plus efficace. Les gains sont particulièrement grands pour les cas où la dimension des variables observées est grande ou dans les cas où il faut faire des tirages répétés des états pour les mêmes valeurs de paramètres. Comme application, on considère un modèle multivarié de Poisson avec le temps des intensités variables, lequel est utilisé pour analyser le compte de données des transactions sur les marchés financières. Dans le deuxième chapitre, nous proposons une nouvelle technique pour analyser des modèles multivariés à volatilité stochastique. La méthode proposée est basée sur le tirage efficace de la volatilité de son densité conditionnelle sachant les paramètres et les données. Notre méthodologie s'applique aux modèles avec plusieurs types de dépendance dans la coupe transversale. Nous pouvons modeler des matrices de corrélation conditionnelles variant dans le temps en incorporant des facteurs dans l'équation de rendements, où les facteurs sont des processus de volatilité stochastique indépendants. Nous pouvons incorporer des copules pour permettre la dépendance conditionnelle des rendements sachant la volatilité, permettant avoir différent lois marginaux de Student avec des degrés de liberté spécifiques pour capturer l'hétérogénéité des rendements. On tire la volatilité comme un bloc dans la dimension du temps et un à la fois dans la dimension de la coupe transversale. Nous appliquons la méthode introduite par McCausland (2012) pour obtenir une bonne approximation de la distribution conditionnelle à posteriori de la volatilité d'un rendement sachant les volatilités d'autres rendements, les paramètres et les corrélations dynamiques. Le modèle est évalué en utilisant des données réelles pour dix taux de change. Nous rapportons des résultats pour des modèles univariés de volatilité stochastique et deux modèles multivariés. Dans le troisième chapitre, nous évaluons l'information contribuée par des variations de volatilite réalisée à l'évaluation et prévision de la volatilité quand des prix sont mesurés avec et sans erreur. Nous utilisons de modèles de volatilité stochastique. Nous considérons le point de vue d'un investisseur pour qui la volatilité est une variable latent inconnu et la volatilité réalisée est une quantité d'échantillon qui contient des informations sur lui. Nous employons des méthodes bayésiennes de Monte Carlo par chaîne de Markov pour estimer les modèles, qui permettent la formulation, non seulement des densités a posteriori de la volatilité, mais aussi les densités prédictives de la volatilité future. Nous comparons les prévisions de volatilité et les taux de succès des prévisions qui emploient et n'emploient pas l'information contenue dans la volatilité réalisée. Cette approche se distingue de celles existantes dans la littérature empirique en ce sens que ces dernières se limitent le plus souvent à documenter la capacité de la volatilité réalisée à se prévoir à elle-même. Nous présentons des applications empiriques en utilisant les rendements journaliers des indices et de taux de change. Les différents modèles concurrents sont appliqués à la seconde moitié de 2008, une période marquante dans la récente crise financière. / My thesis consists of three chapters related to the estimation of state space models and stochastic volatility models. In the first chapter we develop a computationally efficient procedure for state smoothing in Gaussian linear state space models. We show how to exploit the special structure of state-space models to draw latent states efficiently. We analyze the computational efficiency of Kalman-filter-based methods, the Cholesky Factor Algorithm, and our new method using counts of operations and computational experiments. We show that for many important cases, our method is most efficient. Gains are particularly large for cases where the dimension of observed variables is large or where one makes repeated draws of states for the same parameter values. We apply our method to a multivariate Poisson model with time-varying intensities, which we use to analyze financial market transaction count data. In the second chapter, we propose a new technique for the analysis of multivariate stochastic volatility models, based on efficient draws of volatility from its conditional posterior distribution. It applies to models with several kinds of cross-sectional dependence. Full VAR coefficient and covariance matrices give cross-sectional volatility dependence. Mean factor structure allows conditional correlations, given states, to vary in time. The conditional return distribution features Student's t marginals, with asset-specific degrees of freedom, and copulas describing cross-sectional dependence. We draw volatility as a block in the time dimension and one-at-a-time in the cross-section. Following McCausland(2012), we use close approximations of the conditional posterior distributions of volatility blocks as Metropolis-Hastings proposal distributions. We illustrate using daily return data for ten currencies. We report results for univariate stochastic volatility models and two multivariate models. In the third chapter, we evaluate the information contributed by (variations of) realized volatility to the estimation and forecasting of volatility when prices are measured with and without error using a stochastic volatility model. We consider the viewpoint of an investor for whom volatility is an unknown latent variable and realized volatility is a sample quantity which contains information about it. We use Bayesian Markov Chain Monte Carlo (MCMC) methods to estimate the models, which allow the formulation of the posterior densities of in-sample volatilities, and the predictive densities of future volatilities. We then compare the volatility forecasts and hit rates from predictions that use and do not use the information contained in realized volatility. This approach is in contrast with most of the empirical realized volatility literature which most often documents the ability of realized volatility to forecast itself. Our empirical applications use daily index returns and foreign exchange during the 2008-2009 financial crisis.

La Centrale de traitement d’Air par Dessiccation (CAD) offre un contrôle complet de la température et de l'humidité dans les locaux climatisés. Son élément clé est la roue dessicante qui permet la dessiccation de l’air et une régénération continue. A travers cette étude, nous nous intéressons au développement d’une méthodologie pour obtenir un modèle dynamique de la roue utilisable dans les algorithmes de contrôle avancés de la CAD. La roue dessicante peut être considérée comme un système de type multi-entrées/multi-sorties (MIMO). La seconde partie de ce mémoire concerne l'identification expérimentale des paramètres des modèles d’état de la roue dessicante pour deux types de modèles : boîte noire et boîte grise. Dans le cas de la boîte noire, tous les paramètres du modèle sont identifiés expérimentalement. Dans le cas de la boîte grise, certains paramètres sont dérivés de considérations physiques et les paramètres restants sont identifiés en utilisant les mesures expérimentales des entrées et des sorties. Les paramètres du modèle boîte grise ont une signification physique. En comparaison avec les modèles boîte noire, les modèles boîte grises sont moins précis sur le domaine sur lequel les paramètres ont été identifiés, mais beaucoup plus précis en dehors de ce domaine. Comme les paramètres ont une signification physique, leurs valeurs ne varient pas de manière significative avec le point de fonctionnement utilisé pour l’identification. Dans l’approche boîte grise, les valeurs des paramètres obtenues pour les modèles linéaires sont presque identiques pour tous les modèles locaux du coté dessiccation et pour tous les modèles locaux du coté régénération ; cela nous a permis de considérer qu’un modèle local est valable pour tout le domaine de variation des variables d’entrée. Le modèle final de la roue dessicante se compose de deux modèles globaux : un pour le côté de la dessiccation et l'autre pour le côté de la régénération. La troisième partie de ce travail consiste dans l'identification des coefficients de transfert de masse et de chaleur au sein de la roue dessicante en utilisant un modèle boîte grise. Le coefficient de transfert de masse, le coefficient de transfert convectif et le nombre de Nusselt ont été obtenus en écrivant les paramètres du modèle d’état en fonction d’une seule variable et en exprimant les paramètres en fonction des caractéristiques géométriques et des propriétés de matériaux de la roue. Ce travail contribue au développement d’un modèle d’état utilisable pour la synthèse des algorithmes de contrôle pour la roue dessicante. / Desiccant Air Unit (DAU) offers a complete control of air temperature and humidity in the conditioned space. Its key component is the desiccant wheel which provides the functions of air desiccation and regeneration. The aim of this study is to develop a methodology for obtaining a dynamic model of the desiccant wheel which can be used for the model-based control algorithms of DAU. The desiccant wheel can be regarded as a multi-input/multi-output (MIMO) system. The first part of the thesis is devoted to the modeling of the desiccant wheel based on energy and mass balance equations. The resulting set of equations is formulated as a second order state-space system without delay. The second part of this thesis concerns the experimental identification of the parameters of the state-space model of the desiccant wheel by using a black-box and a gray-box approach. In the case of the black-box, all the parameters of the model are identified experimentally. The identified parameters have values which minimize the difference between the output of the model and the experimental values. The parameters of the black-box model do not have physical significance. Although precise in the range of variation of the inputs in which the parameters were identified, this model gives significant errors in other domains of variation of the inputs. The parameters of the gray-box model are physically significant. Compared with the black-box models, the gray-box model was less accurate for the domains for which the parameters were identified, but it was notably more robust when applied to other ranges of the inputs. Since the parameters are related to physical properties, their values do not vary significantly with changes of the operating point used for identification. For the gray-box approach, the parameter values obtained for the linear models are almost identical for all local models on the desiccation side and all the local models on the regeneration side, suggesting that a local model may be valid for all the complete range of input variables. Using the above results, a final model of the desiccant wheel was developed, comprising two global models: one for the desiccation side and another for the regeneration side. The third part of the thesis deals with the identification of mass and heat transfer coefficients of the air within the desiccant wheel using a gray-box model. The mass transfer coefficient, the convective heat transfer coefficient and the Nusselt number were obtained by defining the variable parameters of the model as a function of a single variable and by expressing the constant parameters as a function of the geometric and material properties of the wheel. This work contributes to the development of a state-space model used for the synthesis of control algorithms for the desiccant wheel.

The research presented in this thesis was conducted under the joint supervision of Pierre-Luc Bacon, affiliated with Mila - Quebec Artificial Intelligence Institute and Université de Montréal, and Ross Goroshin, affiliated with Google DeepMind. The involvement of both supervisors was integral to the development and completion of this work. / Cette thèse est ancrée dans deux aspirations principales: (i) l'extension des longueurs de séquence pour une fidélité de prédiction supérieure pendant les phases d'entraînement et de test, et (ii) l'amélioration de l'efficacité computationnelle des modèles de séquence. Le défi fondamental de la modélisation de séquences réside dans la prédiction ou la génération précise sur de longs horizons. Les modèles traditionnels, tels que les Réseaux Neuronaux Récurrents (RNN), possèdent des capacités intrinsèques pour la gestion de séquences, mais présentent des lacunes sur de longues séquences. Le premier article, "Correction de Cours des Représentations de Koopman," introduit le Réencodage Périodique pour les Autoencodeurs de Koopman, offrant une solution à la dérive dans les prédictions à long horizon, assurant la stabilité du modèle sur de longues séquences. Les défis subséquents des RNN ont orienté l'attention vers les Transformateurs, avec une longueur de contexte bornée et un temps d'exécution quadratique. Des innovations récentes dans les Modèles d'Espace d'État (SSM) soulignent leur potentiel pour la modélisation de séquences. Notre second article, "Transformateurs d'État-Block," exploite les puissantes capacités de contextualisation des SSM, fusionnant les forces des Transformateurs avec les avantages des SSM. Cette fusion renforce la modélisation linguistique, surtout dans les contextes exigeant une large inference et contexte. En essence, cette thèse se concentre sur l'avancement de l'inférence de séquence à longue portée, chaque article offrant des approches distinctes pour améliorer la portée et la précision de la modélisation prédictive dans les séquences, incarnées par le titre "Au-delà de l'Horizon." / This thesis is anchored in two principal aspirations: (i) the extension of sequence lengths for superior prediction fidelity during both training and test phases, and (ii) the enhancement of computational efficiency in sequence models. The fundamental challenge in sequence modeling lies in accurate prediction or generation across extended horizons. Traditional models, like Recurrent Neural Networks (RNNs), possess inherent capacities for sequence management, but exhibit shortcomings over extended sequences. The first article, "Course Correcting Koopman Representations," introduces Periodic Reencoding for Koopman Autoencoders, offering a solution to the drift in long-horizon predictions, ensuring model stability across lengthy sequences. Subsequent challenges in RNNs have shifted focus to Transformers, with a bounded context length and quadratic runtime. Recent innovations in State-Space Models (SSMs) underscore their potential for sequence modeling. Our second article, "Block-State Transformers," exploits the potent contextualization capabilities of SSMs, melding Transformer strengths with SSM benefits. This fusion augments language modeling, especially in contexts demanding extensive range inference and context. In essence, this thesis revolves around advancing long-range sequence inference, with each article providing distinctive approaches to enhance the reach and accuracy of predictive modeling in sequences, epitomized by the title "Beyond the Horizon."