[pt] Os expoentes de Lyapunov são uma ferramenta bastante utilizada quando busca-se entender o comportamento de sistemas dinâmicos, em particular de cociclos lineares. De fato, concentramo-nos no expoente maximal, pois este determina o comportamento geral do sistema, de modo que sua positividade pode ser um indicativo de que estamos lidando com um sistema caótico. Nesse sentido estudamos um teorema provado por Michael Herman, que fornece uma cota inferior para o expoente de Lyapunov maximal de uma classe de cociclos lineares definidos por rotações no círculo. A prova deste resultado utiliza um processo de complexificação do cociclo e um argumento de subharmonicidade. Surpreendentemente, essa cota inferior é na verdade uma identidade, o que foi provado posteriormente por Avila e Bochi. Como será mostrado nesta dissertação, o argumento para obter a identidade depende crucialmente da harmonicidade, e não da mera subharmonicidade de certas funções associadas às iterações do cociclo. / [en] Lyapunov exponents are a widely used tool when trying to understand the behavior of dynamical systems in general, and in particular that of linear cocycles. We focus on the maximal exponent, as it determines the general behavior of the system, in that its positivity can be an indication that we are dealing with a chaotic system. In this sense, we study a theorem obtained by Michael Herman, providing a lower bound on the maximal Lyapunov exponent of a class of linear cocycles defined by circle rotations. The proof of this result employs the complexification of the cocycle and an argument based on subharmonicity. Surprisingly, this lower bound is in fact an identity, which was proven later by Avila and Bochi. As it will be shown in this dissertation, the argument for obtaining this identity depends crucially on the harmonicity, as opposed to the mere subharmonicity of certain functions associated with the iterates of the cocycle.

<p>Optimization under uncertainty is the field of optimization where the data or the optimization model itself has uncertainties associated with it. Such problems are more commonly referred to as stochastic optimization problems. These problems capture the broad idea of making optimal decisions under uncertainty. An important class of these stochastic optimization problems is chance-constrained optimization problems, where the decision maker seeks to choose the best decision such that the probability of violating a set of uncertainty constraints is within a predefined probabilistic threshold risk level. Such stochastic optimization problems have found a lot of interest in the service industry as the service providers need to satisfy a minimum service level agreement (SLA) with their customers. Satisfying SLA in the presence of uncertainty in the form of probabilistic failure of infrastructure poses many interesting and challenging questions. In this thesis, we answer a few of these questions.</p> <p>We first explore the problem of quantifying uncertainties that adversely impact the service provider's infrastructure, thereby hurting the service level agreements. In particular we address the probability quantification problem, where given an uncertainty set, the goal is to quantify the probability of an event, on which the optimal value of an optimization problem exceeds a predefined threshold value. The novel techniques we propose, use and develop ideas from diverse literatures such as mixed integer nonlinear program, chance-constrained programming, approximate sampling and counting techniques, and large deviation bounds. Our approach yields the first polynomial time approximation scheme for the specific probability quantification problem we consider. </p> <p>Our next work is inspired by the ideas of risk averse decision making. Here, we focus on studying the problem of minimizing risk functions. As a special case we also explore the problem of minimizing the Value at Risk (VaR), which is a well know non-convex problem. For more than a decade, the well-known, best convex approximation to this problem has been obtained by minimizing the Conditional Value at Risk (CVaR). We proposed a new two-stage model which formulates these risk functions, which eventually leads to a bilinear optimization problem, a special case of which is the VaR minimization problem. We come up with enhancements to this bilinear formulation and use convexification techniques to obtain tighter lower and upper convex approximations to the problem. We also find that the approximation obtained by CVaR minimization is a special case of our method. The overestimates we construct help us to develop tighter convex inner approximations for the chance constraint optimization problems.</p>

Résumé : Dans ce projet, un décodage neuronal bayésien est effectué sur le colliculus inférieur du cochon d'Inde. Premièrement, On lit les potentiels évoqués grâce aux électrodes et ensuite on en déduit les potentiels d'actions à l'aide de technique de classification des décharges des neurones. Ensuite, un modèle linéaire généralisé (GLM) est entraîné en associant un stimulus acoustique en même temps que les mesures de potentiel qui sont effectuées. Enfin, nous faisons le décodage neuronal de l'activité des neurones en utilisant une méthode d'estimation statistique par maximum à posteriori afin de reconstituer la représentation spectro-temporelle du signal acoustique qui correspond au stimulus acoustique. Dans ce projet, nous étudions l'impact de différents modèles de codage neuronal ainsi que de différentes représentations spectro-temporelles (qu'elles sont supposé représenter le stimulus acoustique équivalent) sur la précision du décodage bayésien de l'activité neuronale enregistrée par le système auditif central. En fait, le modèle va associer une représentation spectro-temporelle équivalente au stimulus acoustique à partir des mesures faites dans le cerveau. Deux modèles de codage sont comparés: un GLM et un modèle bilinéaire généralisé (GBM), chacun avec trois différentes représentations spectro-temporelles des stimuli d'entrée soit un spectrogramme ainsi que deux représentations bio-inspirées: un banc de filtres gammatones et un spikegramme. Les paramètres des GLM et GBM, soit le champ récepteur spectro-temporel, le filtre post décharge et l'entrée non linéaire (seulement pour le GBM) sont adaptés en utilisant un algorithme d'optimisation par maximum de vraisemblance (ML). Le rapport signal sur bruit entre la représentation reconstruite et la représentation originale est utilisé pour évaluer le décodage, c'est-à-dire la précision de la reconstruction. Nous montrons expérimentalement que la précision de la reconstruction est meilleure avec une représentation par spikegramme qu'avec une représentation par spectrogramme et, en outre, que l'utilisation d'un GBM au lieu d'un GLM augmente la précision de la reconstruction. En fait, nos résultats montrent que le rapport signal à bruit de la reconstruction d'un spikegramme avec le modèle GBM est supérieur de 3.3 dB au rapport signal à bruit de la reconstruction d'un spectrogramme avec le modèle GLM. / Abstract : In this project, Bayesian neural decoding is performed on the neural activity recorded from the inferior colliculus of the guinea pig following the presentation of a vocalization. In particular, we study the impact of different encoding models on the accuracy of reconstruction of different spectro-temporal representations of the input stimulus. First voltages recorded from the inferior colliculus of the guinea pig are read and the spike trains are obtained. Then, we fit an encoding model to the stimulus and associated spike trains. Finally, we do neural decoding on the pairs of stimuli and neural activities using the maximum a posteriori optimization method to obtain the reconstructed spectro-temporal representation of the signal. Two encoding models, a generalized linear model (GLM) and a generalized bilinear model (GBM), are compared along with three different spectro-temporal representations of the input stimuli: a spectrogram and two bio-inspired representations, i.e. a gammatone filter bank (GFB) and a spikegram. The parameters of the GLM and GBM including spectro-temporal receptive field, post spike filter and input non linearity (only for the GBM) are fitted using the maximum likelihood optimization (ML) algorithm. Signal to noise ratios between the reconstructed and original representations are used to evaluate the decoding, or reconstruction accuracy. We experimentally show that the reconstruction accuracy is better with the spikegram representation than with the spectrogram and GFB representation. Furthermore, using a GBM instead of a GLM significantly increases the reconstruction accuracy. In fact, our results show that the spikegram reconstruction accuracy with a GBM fitting yields an SNR that is 3.3 dB better than when using the standard decoding approach of reconstructing a spectrogram with GLM fitting.

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires. / Despite the current widescale success of deep learning in training large scale hierarchical models through supervised learning, unsupervised learning promises to play a crucial role towards solving general Artificial Intelligence, where agents are expected to learn with little to no supervision. The work presented in this thesis tackles the problem of unsupervised feature learning and density estimation, using a model family at the heart of the deep learning phenomenon: the Boltzmann Machine (BM). We present contributions in the areas of sampling, partition function estimation, optimization and the more general topic of invariant feature learning. With regards to sampling, we present a novel adaptive parallel tempering method which dynamically adjusts the temperatures under simulation to maintain good mixing in the presence of complex multi-modal distributions. When used in the context of stochastic maximum likelihood (SML) training, the improved ergodicity of our sampler translates to increased robustness to learning rates and faster per epoch convergence. Though our application is limited to BM, our method is general and is applicable to sampling from arbitrary probabilistic models using Markov Chain Monte Carlo (MCMC) techniques. While SML gradients can be estimated via sampling, computing data likelihoods requires an estimate of the partition function. Contrary to previous approaches which consider the model as a black box, we provide an efficient algorithm which instead tracks the change in the log partition function incurred by successive parameter updates. Our algorithm frames this estimation problem as one of filtering performed over a 2D lattice, with one dimension representing time and the other temperature. On the topic of optimization, our thesis presents a novel algorithm for applying the natural gradient to large scale Boltzmann Machines. Up until now, its application had been constrained by the computational and memory requirements of computing the Fisher Information Matrix (FIM), which is square in the number of parameters. The Metric-Free Natural Gradient algorithm (MFNG) avoids computing the FIM altogether by combining a linear solver with an efficient matrix-vector operation. The method shows promise in that the resulting updates yield faster per-epoch convergence, despite being slower in terms of wall clock time. Finally, we explore how invariant features can be learnt through modifications to the BM energy function. We study the problem in the context of the spike & slab Restricted Boltzmann Machine (ssRBM), which we extend to handle both binary and sparse input distributions. By associating each spike with several slab variables, latent variables can be made invariant to a rich, high dimensional subspace resulting in increased invariance in the learnt representation. When using the expected model posterior as input to a classifier, increased invariance translates to improved classification accuracy in the low-label data regime. We conclude by showing a connection between invariance and the more powerful concept of disentangling factors of variation. While invariance can be achieved by pooling over subspaces, disentangling can be achieved by learning multiple complementary views of the same subspace. In particular, we show how this can be achieved using third-order BMs featuring multiplicative interactions between pairs of random variables.

Ce mémoire de thèse traite de la stabilité en temps fini et de la stabilisation en temps fini des systèmes dynamiques. En effet, il est souvent important de garantir que pendant le régime transitoire, les trajectoires d'état ne dépassent pas certaines limites prédéfinies afin d'éviter les saturations et l'excitation des non-linéarités du système. Un système dynamique est dit stable en temps fini FTS si, pour tout état initial appartenant à un ensemble borné prédéterminé, la trajectoire d'état reste comprise dans un autre ensemble borné prédéterminé pendant un temps fini et fixé. Lorsque le système est perturbé, on parle de bornitude en temps fini FTB. Premièrement, des nouvelles conditions suffisantes assurant la synthèse d'un correcteur FTB par retour de sortie dynamique des systèmes linéaires continus invariants perturbés ont été développées via une approche descripteur originale. Le résultat a été établi par une transformation de congruence particulière. Les conditions obtenues sont sous forme de LMIs. Deuxièmement, l'utilisation de la notion d'annulateur combinée avec le lemme de Finsler, permet d’obtenir des nouvelles conditions sous formes LMIs garantissant la stabilité et la stabilisation en temps fini des systèmes non linéaires quadratiques. Enfin, pour obtenir des conditions encore moins pessimistes dans un contexte de stabilité en temps fini, de nouveaux développements ont été proposés en utilisant des fonctions de Lyapunov polynomiales / This dissertation deals with the finite time stability and the finite time stabilization of dynamic systems. Indeed, it is often important to ensure that during the transient regime, the state trajectories do not exceed certain predefined limits in order to avoid saturations and excitations of the nonlinearities of the system. Hence the interest is to study the stability of the dynamic system in finite time. A dynamic system is said to be stable in finite time (FTS) if, for any initial state belonging to a predetermined bounded set, the state trajectory remains within another predetermined bounded set for a finite and fixed time. When the system is disturbed, it is called finite time boundedness (FTB). In this manuscript, the goal is to improve the results of finite time stability used in the literature. First, new sufficient conditions expressed in terms of LMIs for the synthesis of an FTB controller by dynamic output feedback have been developed via an original descriptor approach. An original method has been proposed which consists in using a particular congruence transformation. Second, new LMI conditions for the study of finite time stability and finite time stabilization have been proposed for disturbed and undisturbed nonlinear quadratic systems. Third, to obtain even less conservative conditions, new developments have been proposed using polynomial Lyapunov functions

La caractérisation fine des matériaux inorganiques nécessite d'avoir accès à des informations complémentaires de celles apportées par des techniques d'analyse élémentaire ou de diffraction. La spectroscopie infrarouge à transformée de Fourier permet de caractériser les liaisons covalentes et l'environnement des groupes fonctionnels dans les matériaux. C'est donc une technique de choix pour l'étude des matériaux hydratés, amorphes ou sujets à des phénomènes de vieillissement. En couplant cette technique à une platine de déplacement, il est possible de réaliser des cartographies des phases sur quelques centimètres carrés : c'est la microscopie infrarouge. Cette thèse développe plus particulièrement l'utilisation de la lumière réfléchie au travers de l'étude de la réflexion spéculaire et de la réflexion totale atténuée (ATR).Après une première partie se focalisant sur les méthodes d'acquisitions disponibles, une seconde partie s'attache à obtenir de manière non supervisée les cartographies chimiques associées aux concentrations relatives des différents composants présents dans la zone analysée. Des techniques de réduction de données et d'analyse factorielle sont mises en place afin d'estimer le nombre de composants chimiques et leurs spectres relatifs ; des problèmes de minimisation sous contraintes sont résolus pour extraire l'information chimique. La réflexion spéculaire ne nécessite aucun contact avec l‘échantillon et, de ce fait, n'entraine aucune altération de la surface analysée. C'est sur le papier une technique de choix pour suivre l'évolution d'un matériau. Cependant, elle souffre de la complexité d'interprétation liée à l'allure des spectres obtenus. Afin de développer la cartographie issue de la réflexion spéculaire, des modèles prenant en compte l'optique géométrique, l'optique ondulatoire, des corrections d'interférogrammes et des méthodes classiques d'homogénéisation ont été développés. Ce travail a permis d'aboutir à un modèle optique liant les spectres issus de la réflexion spéculaire avec les concentrations relatives des composants. Ce modèle tient compte de la polarisation, de l'angle d'incidence et utilise les constantes diélectriques du matériau. Ce modèle a été validé sur un matériau contenant trois composants distincts facilement identifiables en infrarouge et spécialement mis en forme pour cette étude. Ce modèle a ouvert la voie à l'utilisation innovante de lumières polarisées elliptiquement pour déterminer l'indice de réfraction complexe d'un matériau. Ainsi, des spectroscopes infrarouges couplés à un accessoire de contrôle de l'angle d'incidence peuvent être utilisés en complément de l'ellipsométrie / Complementary information, to that provided by elemental analysis and diffraction techniques, is needed to characterize inorganic materials. Fourier Transform Infrared spectroscopy enables to characterize covalent bonds and the environment of functional groups in materials. Thus, it is a technique of interest to study hydrated materials, amorphous materials or any materials, which may experience ageing phenomena. By combining this technique with a micrometric motorized stage, cartographies of chemical compounds can be obtained on several square millimeters: this is the infrared microscopy technique. This Ph.D. thesis focuses on the use of reflected light, in particular through the study of specular reflection and of Attenuated Total Reflectance (ATR). After a first part focused on the different acquisition set-ups, a second part covers the unsupervised methodologies of resolution employed to obtain chemical maps. They result in one map for each component present in the analyzed area. Dimensions reduction techniques and multivariate statistics techniques are implemented to estimate the number of components and their infrared spectra; minimization problems under constraints are solved to retrieve chemical information. When specular reflection is used to acquire spectra, no contact is made with the sample, thus no damage of the analyzed area occurs during the acquisition. A priori, it is a great technique to study the evolution of a material. However, this technique suffers from the complexity of interpretation of the resulting spectra. With the objective to democratize the use of specular reflection to obtain chemical maps, models based on geometrical optics and including diffraction, correction of interferograms and classical homogenization techniques have been developed. This work resulted in an optical model linking the angle of incidence, the polarization state and the dielectric optical constants of the material with the reflected light, which is measured. A model material, constituted of three distinct phases, detectable in the infrared range, has specially been fabricated to validate this optical model. This model set the stage for the use of elliptically polarized light in the determining of the complex refractive indices of materials in the infrared range. Thanks to this development, infrared spectroscopes, equipped with a classical set-up to control the angle of incidence, can now be used in addition to ellipsometry techniques

Graduation date: 2006 / Presented on 2005-12-02 / An empirical statistical model is developed that relates the non-tidal motion of the ocean surface currents off the Oregon coast to forecasts of the coastal winds. The empirical statistical model is then used to produce predictions of the surface currents that are evaluated for their agreement with measured currents. Measurements of the ocean surface currents were made at 6 km resolution using Long-Range CODAR SeaSonde high-frequency (HF) surface current mappers and wind forecasts were provided at 12 km resolution by the North American Mesoscale (NAM) model. First, the response of the surface currents to wind-forcing measured by five coastal National Data Buoy Center (NDBC) stations was evaluated using empirical orthogonal function (EOF) analysis. A significant correlation of approximately 0.8 was found between the majority of the variability in the seasonal anomalies of the low-pass filtered surface currents and the seasonal anomalies of the low-pass filtered wind stress measurements. The U and the V components of the measured surface currents were both shown to be forced by the zonal and meridional components of the wind-stress at the NDBC stations. Next, the NAM wind forecasts were tested for agreement with the measurements of the wind at the NDBC stations. Significant correlations of around 0.8 for meridional wind stress and 0.6 for zonal wind stress were found between the seasonal anomalies of the low-pass filtered wind stress measured by the NDBC stations and the seasonal anomalies of the low-pass filtered wind stress forecast by the NAM model. Given the amount of the variance in the winds captured by the NAM model and the response of the ocean surface currents to both components of the wind, bilinear regressions were formed relating the seasonal anomalies of the low-pass filtered NAM forecasts to the seasonal anomalies of the low-pass filtered surface currents. The regressions turned NAM wind forecasts into predictions of the seasonal anomalies of the low-pass filtered surface currents. Calculations of the seasonal cycle in the surface currents, added to these predicted seasonal anomalies, produced a non-tidal estimation of the surface currents that allowed a residual difference to be calculated from recent surface current measurements. The sum of the seasonal anomalies, the seasonal cycle, and the residual formed a prediction of the non-tidal surface currents. The average error in this prediction of the surface currents off the Oregon coast remained less than 4 cm/s out through 48 hours into the future.

This thesis introduces a new model formulation to solve routing and scheduling problems, with the main applications in answering routing and scheduling problems faced by a sea-cargo shipping company and a railroad company. For the work in sea-cargo routing and scheduling, we focus on the tramp shipping operation. Tramp shipping is a demand-driven type of shipping operation which does not have fixed schedules. The schedules are based on the pickup and download locations of profitable service requests. Given set of products distributed among a set of ports, with each product having pickup and download time windows and a destination port, the problem is to find the schedule for a fleet of ships that maximizes profit over a specified time horizon. The problem is modeled as a Mixed Integer Non-Linear Program and reformulated as an equivalent Mixed Integer Linear Program. Three heuristic methods, along with computational results, are presented. We also exploit the special structure enjoyed by our model and introduce an upper-bounding problem to the model. With a little modification, the model is readily extendable to reflect soft time windows and inter-ship cargo-transfers. The other part of our work deals with train routing and scheduling. A typical train shipment consists of a set of cars having a common origin and destination. To reduce the handling of individual shipments as they travel, shipments are grouped into blocks. The problem is that given sets of blocks to be carried from origins to destinations, construct the most cost effective train routes and schedules and determine block-to-train assignments, such that the number of block transfers (block swaps) between trains, the number of trains used, and some other cost measures are minimized. Incorporating additional precedence requirements, the modeling techniques from the shipping research are employed to formulate a mixed integer nonlinear program for this train routing and scheduling problem. Computational results are presented.

No description available.

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires. / Despite the current widescale success of deep learning in training large scale hierarchical models through supervised learning, unsupervised learning promises to play a crucial role towards solving general Artificial Intelligence, where agents are expected to learn with little to no supervision. The work presented in this thesis tackles the problem of unsupervised feature learning and density estimation, using a model family at the heart of the deep learning phenomenon: the Boltzmann Machine (BM). We present contributions in the areas of sampling, partition function estimation, optimization and the more general topic of invariant feature learning. With regards to sampling, we present a novel adaptive parallel tempering method which dynamically adjusts the temperatures under simulation to maintain good mixing in the presence of complex multi-modal distributions. When used in the context of stochastic maximum likelihood (SML) training, the improved ergodicity of our sampler translates to increased robustness to learning rates and faster per epoch convergence. Though our application is limited to BM, our method is general and is applicable to sampling from arbitrary probabilistic models using Markov Chain Monte Carlo (MCMC) techniques. While SML gradients can be estimated via sampling, computing data likelihoods requires an estimate of the partition function. Contrary to previous approaches which consider the model as a black box, we provide an efficient algorithm which instead tracks the change in the log partition function incurred by successive parameter updates. Our algorithm frames this estimation problem as one of filtering performed over a 2D lattice, with one dimension representing time and the other temperature. On the topic of optimization, our thesis presents a novel algorithm for applying the natural gradient to large scale Boltzmann Machines. Up until now, its application had been constrained by the computational and memory requirements of computing the Fisher Information Matrix (FIM), which is square in the number of parameters. The Metric-Free Natural Gradient algorithm (MFNG) avoids computing the FIM altogether by combining a linear solver with an efficient matrix-vector operation. The method shows promise in that the resulting updates yield faster per-epoch convergence, despite being slower in terms of wall clock time. Finally, we explore how invariant features can be learnt through modifications to the BM energy function. We study the problem in the context of the spike & slab Restricted Boltzmann Machine (ssRBM), which we extend to handle both binary and sparse input distributions. By associating each spike with several slab variables, latent variables can be made invariant to a rich, high dimensional subspace resulting in increased invariance in the learnt representation. When using the expected model posterior as input to a classifier, increased invariance translates to improved classification accuracy in the low-label data regime. We conclude by showing a connection between invariance and the more powerful concept of disentangling factors of variation. While invariance can be achieved by pooling over subspaces, disentangling can be achieved by learning multiple complementary views of the same subspace. In particular, we show how this can be achieved using third-order BMs featuring multiplicative interactions between pairs of random variables.