231 |
Advances in uncertainty modelling : from epistemic uncertainty estimation to generalized generative flow networksLahlou, Salem 08 1900 (has links)
Les problèmes de prise de décision se produisent souvent dans des situations d'incertitude, englobant à la fois l'incertitude aléatoire due à la présence de processus inhérents aléatoires et l'incertitude épistémique liée aux connaissances limitées. Cette thèse explore le concept d'incertitude, un aspect crucial de l'apprentissage automatique et un facteur clé pour que les agents rationnels puissent déterminer où allouer leurs ressources afin d'obtenir les meilleurs résultats.
Traditionnellement, l'incertitude est encodée à travers une probabilité postérieure, obtenue par des techniques d'inférence Bayésienne approximatives. Le premier ensemble de contributions de cette thèse tourne autour des propriétés mathématiques des réseaux de flot génératifs, qui sont des modèles probabilistes de séquences discrètes et des échantillonneurs amortis de distributions de probabilités non normalisées. Les réseaux de flot génératifs trouvent des applications dans l'inférence Bayésienne et peuvent être utilisés pour l'estimation de l'incertitude. De plus, ils sont utiles pour les problèmes de recherche dans de vastes espaces compositionnels. Au-delà du renforcement du cadre mathématique sous-jacent, une étude comparative avec les méthodes variationnelles hiérarchiques est fournie, mettant en lumière les importants avantages des réseaux de flot génératifs, tant d'un point de vue théorique que par le biais d'expériences diverses. Ces contributions incluent une théorie étendant les réseaux de flot génératifs à des espaces continus ou plus généraux, ce qui permet de modéliser la probabilité postérieure et l'incertitude dans de nombreux contextes intéressants. La théorie est validée expérimentalement dans divers domaines.
Le deuxième axe de travail de cette thèse concerne les mesures alternatives de l'incertitude épistémique au-delà de la modélisation de la probabilité postérieure. La méthode présentée, appelée Estimation Directe de l'Incertitude Épistémique (DEUP), surmonte une faiblesse majeure des techniques d'inférence Bayésienne approximatives due à la mauvaise spécification du modèle. DEUP repose sur le maintien d'un prédicteur secondaire des erreurs du prédicteur principal, à partir duquel des mesures d'incertitude épistémique peuvent être déduites. / Decision-making problems often occur under uncertainty, encompassing both aleatoric uncertainty arising from inherent randomness in processes and epistemic uncertainty due to limited knowledge. This thesis explores the concept of uncertainty, a crucial aspect of machine learning and a key factor for rational agents to determine where to allocate their resources for achieving the best possible results.
Traditionally, uncertainty is encoded in a posterior distribution, obtained by approximate \textit{Bayesian} inference techniques. This thesis's first set of contributions revolves around the mathematical properties of generative flow networks, which are probabilistic models over discrete sequences and amortized samplers of unnormalized probability distributions. Generative flow networks find applications in Bayesian inference and can be used for uncertainty estimation. Additionally, they are helpful for search problems in large compositional spaces. Beyond deepening the mathematical framework underlying them, a comparative study with hierarchical variational methods is provided, shedding light on the significant advantages of generative flow networks, both from a theoretical point of view and via diverse experiments. These contributions include a theory extending generative flow networks to continuous or more general spaces, which allows modelling the Bayesian posterior and uncertainty in many interesting settings. The theory is experimentally validated in various domains.
This thesis's second line of work is about alternative measures of epistemic uncertainty beyond posterior modelling. The presented method, called Direct Epistemic Uncertainty Estimation (DEUP), overcomes a major shortcoming of approximate Bayesian inference techniques caused by model misspecification. DEUP relies on maintaining a secondary predictor of the errors of the main predictor, from which measures of epistemic uncertainty can be deduced.
|
232 |
Fast high-dimensional posterior inference with deep generative models : application to CMB delensingSotoudeh, Mohammad-Hadi 08 1900 (has links)
Nous vivons à une époque marquée par une abondance de données cosmologiques de haute résolution. Cet afflux de données engendré par les missions d'observation de nouvelle génération au sol et dans l'espace porte le potentiel de remodeler fondamentalement notre compréhension de l'univers et de ses principes physiques sous-jacents. Cependant, la complexité grande des données observées pose des défis aux approches conventionnelles d'analyse de données, soit en raison de coûts de calcul irréalisables, soit en raison des hypothèses simplificatrices utilisées dans ces algorithmes qui deviennent inadéquates dans des contextes haute résolution à faible bruit, conduisant à des résultats sous-optimaux.
En réponse, la communauté scientifique s'est tournée vers des méthodes innovantes d'analyse de données, notamment les techniques d'apprentissage automatique (ML). Les modèles de ML, lorsqu'ils sont bien entraînés, peuvent identifier de manière autonome des correlations significatives dans les données de manière plus efficace et sans hypothèses restrictives inutiles. Bien que les méthodes de ML aient montré des promesses en astrophysique, elles présentent également des problèmes tels que le manque d'interprétabilité, les biais cachés et les estimations d'incertitude non calibrées, ce qui, jusqu'a maintenant, a entrave leur application dans d'importantes découvertes scientifiques. Ce projet s'inscrit dans le cadre de la collaboration "Learning the Universe" (LtU), axée sur la reconstruction des conditions initiales de l'univers, en utilisant une approche de modélisation bayésienne et en exploitant la puissance du ML. L'objectif de ce projet est de développer un cadre pour mener une inférence bayésienne au niveau des pixels dans des problèmes multidimensionnels.
Dans cette thèse, je présente le développement d'un cadre d'apprentissage profond pour un échantillonnage rapide des postérieurs en dimensions élevées. Ce cadre utilise l'architecture "Hierarchical Probabilistic U-Net", qui combine la puissance de l'architecture U-Net dans l'apprentissage de cartes multidimensionnelles avec le rigoureux cadre d'inférence des autoencodeurs variationnels conditionnels. Notre modèle peut quantifier les incertitudes dans ses données d'entraînement et générer des échantillons à partir de la distribution a posteriori des paramètres, pouvant être utilisés pour dériver des estimations d'incertitude pour les paramètres inférés. L'efficacité de notre cadre est démontrée en l'appliquant au problème de la reconstruction de cartes du fond diffus cosmologique (CMB) pour en retirer de l'effet de lentille gravitationnelle faible. Notre travail constitue un atout essentiel pour effectuer une inférence de vraisemblance implicite en dimensions élevées dans les domaines astrophysiques. Il permet d'exploiter pleinement le potentiel des missions d'observation de nouvelle génération pour améliorer notre compréhension de l'univers et de ses lois physiques fondamentales. / We live in an era marked by an abundance of high-resolution cosmological data. This influx of data brought about by next-generation observational missions on the ground and in space, bears the potential of fundamentally reshaping our understanding of the universe and its underlying physical principles. However, the elevated complexity of the observed data poses challenges to conventional data analysis approaches, either due to infeasible computational costs or the simplifying assumptions used in these algorithms that become inadequate in high-resolution, low-noise contexts, leading to suboptimal results.
In response, the scientific community has turned to innovative data analysis methods, including machine learning (ML) techniques. ML models, when well-trained, can autonomously identify meaningful patterns in data more efficiently and without unnecessary restrictive assumptions. Although ML methods have shown promise in astrophysics, they also exhibit issues like lack of interpretability, hidden biases, and uncalibrated uncertainty estimates, which have hindered their application in significant scientific discoveries. This project is defined within the context of the Learning the Universe (LtU) collaboration, focused on reconstructing the initial conditions of the universe, utilizing a Bayesian forward modeling approach and harnessing the power of ML. The goal of this project is to develop a framework for conducting Bayesian inference at the pixel level in high-dimensional problems.
In this thesis, I present the development of a deep learning framework for fast high-dimensional posterior sampling. This framework utilizes the Hierarchical Probabilistic U-Net architecture, which combines the power of the U-Net architecture in learning high-dimensional mappings with the rigorous inference framework of Conditional Variational Autoencoders. Our model can quantify uncertainties in its training data and generate samples from the posterior distribution of parameters, which can be used to derive uncertainty estimates for the inferred parameters. The effectiveness of our framework is demonstrated by applying it to the problem of removing the weak gravitational lensing effect from the CMB. Our work stands as an essential asset to performing high-dimensional implicit likelihood inference in astrophysical domains. It enables utilizing the full potential of next-generation observational missions to improve our understanding of the universe and its fundamental physical laws.
|
233 |
Hygiène et considérations hygiéniques des Inughuits du nord-ouest du Groenland : étude archéoentomologique des sites d'lita, Cap Grinnell et Qaqaitsut au Groenland / Étude archéoentomologique des sites d'Iita, Cap Grinnell et Qaqaitsut au GroenlandDussault, Frédéric 18 April 2018 (has links)
Au cours du XIXe siècle et au début du XXe siècle, de nombreux explorateurs se sont rendus dans le nord-ouest du Groenland. Les Inughuits vivant dans cette région de l'Arctique se sont retrouvés au coeur même, durant cette période, d'une série de rencontres et de relations : dans un premier temps, les explorateurs ont établi un premier contact et, par la suite, les anthropologues et les ethnologues se sont intéressés à eux. Au cours de ces têtes à têtes, une grande quantité d'écrits ont été produits. Toutefois, ces documents peignent un portrait fort contradictoire de ce peuple : d'une part, les récits des explorateurs sont souvent très peu flatteurs, surtout sur le plan des pratiques hygiéniques des habitants de cette région, tandis que les ouvrages des anthropologues apportent une vision plus nuancée de l'hygiène des Inughuits. Cette contradiction que l'on relève dans la littérature, en ce qui touche à la perception des pratiques hygiéniques des Inughuits, n'a jamais été étudiée. Afin d'éclaircir la situation et apporter une réponse à cette contradiction, il est proposé d'adopter une approche multidisciplinaire visant l'étude des ectoparasites d'humains sur les sites d'Iita, Cap Grinnell et Qaqaitsut. En combinant les résultats archéoentomologiques à l'analyse de la tradition orale des Inughuits, il est possible d'apporter un éclairage nouveau sur les conditions de vie des humains du passé de ces sites.
|
234 |
Portrait actuel de la qualité de l'eau et des sédiments de la Mishta-shipu (rivière Moisie)Régis-Pilot, Maude 13 December 2023 (has links)
Le début de l'industrialisation a été marqué par une augmentation nette de l'influence anthropique sur le réchauffement planétaire, et les écosystèmes d'eau douce siègent parmi les premiers rangs des biotopes les plus impactés par ce phénomène. L'augmentation de la température et des précipitations modifient considérablement les propriétés du milieu, affectant directement la biodiversité ambiante. Une surveillance rigoureuse et continue est essentielle afin de détecter, évaluer et gérer adéquatement toute menace environnementale pouvant être attribuée à l'humain. Riches en espèces et florissantes de ressources naturelles, les rivières possèdent des composantes fondamentales pour tout écosystème. Elles sont également essentielles à la santé de l'humain, à son développement économique et à son approvisionnement en eau potable. La rivière Mishta-shipu (rivière Moisie) est située majoritairement dans la région administrative de la Côte-Nord, au Québec. Elle est réputée mondialement comme étant l'une des plus importantes rivières à saumon de l'Atlantique (Salmo salar). De plus, en tant qu'autoroute principale menant aux territoires ancestraux, sa valeur patrimoniale se veut inestimable pour les communautés autochtones locales qui ont survécu durant des milliers d'années grâce à ses ressources. Considérant toute cette richesse et l'absence de données scientifiques suffisantes, l'objectif global de cette étude était donc de brosser un portrait global et représentatif de la qualité actuelle de la rivière. Ce projet a été réalisé à travers le bassin versant de la Mishta-shipu, sur un total de huit stations à l'intérieur desquelles trois sites ont été échantillonnés. Les analyses ont été effectuées à l'aide d'indicateurs physico-chimiques, c'est-à-dire la qualité de l'eau et des sédiments, combinés à une caractérisation des macroinvertébrés benthiques, et ce en tenant compte des principales activités humaines pouvant impacter la qualité de la rivière. Les résultats obtenus suggèrent qu'à l'intérieur de certaines stations, certains sites subissent une pression pouvant être associée à l'humain.
|
235 |
Développement de méthodes d’analyse directe de polluants organiques volatils à l’état de traces dans l’air et les biogazBadjagbo, Koffi 09 1900 (has links)
Il est reconnu que le benzène, le toluène, l’éthylbenzène et les isomères du xylène, composés organiques volatils (COVs) communément désignés BTEX, produisent des effets nocifs sur la santé humaine et sur les végétaux dépendamment de la durée et des niveaux d’exposition. Le benzène en particulier est classé cancérogène et une exposition à des concentrations supérieures à 64 g/m3 de benzène peut être fatale en 5–10 minutes. Par conséquent, la mesure en temps réel des BTEX dans l’air ambiant est essentielle pour détecter rapidement un danger associé à leur émission dans l’air et pour estimer les risques potentiels pour les êtres vivants et pour l’environnement. Dans cette thèse, une méthode d’analyse en temps réel des BTEX dans l’air ambiant a été développée et validée. La méthode est basée sur la technique d’échantillonnage direct de l’air couplée avec la spectrométrie de masse en tandem utilisant une source d’ionisation chimique à pression atmosphérique (APCI-MS/MS directe). La validation analytique a démontré la sensibilité (limite de détection LDM 1–2 μg/m3), la précision (coefficient de variation CV < 10%), l’exactitude (exactitude > 95%) et la sélectivité de la méthode. Des échantillons d’air ambiant provenant d’un site d’enfouissement de déchets industriels et de divers garages d’entretien automobile ont été analysés par la méthode développée. La comparaison des résultats avec ceux obtenus par la technique de chromatographie gazeuse on-line couplée avec un détecteur à ionisation de flamme (GC-FID) a donné des résultats similaires. La capacité de la méthode pour l’évaluation rapide des risques potentiels associés à une exposition aux BTEX a été prouvée à travers une étude de terrain avec analyse de risque pour la santé des travailleurs dans trois garages d’entretien automobile et par des expériences sous atmosphères simulées. Les concentrations mesurées dans l’air ambiant des garages étaient de 8,9–25 µg/m3 pour le benzène, 119–1156 µg/m3 pour le toluène, 9–70 µg/m3 pour l’éthylbenzène et 45–347 µg/m3 pour les xylènes. Une dose quotidienne environnementale totale entre 1,46 10-3 et 2,52 10-3 mg/kg/jour a été déterminée pour le benzène. Le risque de cancer lié à l’exposition environnementale totale au benzène estimé pour les travailleurs étudiés se situait entre 1,1 10-5 et 1,8 10-5.
Une nouvelle méthode APCI-MS/MS a été également développée et validée pour l’analyse directe de l’octaméthylcyclotétrasiloxane (D4) et le décaméthylcyclopentasiloxane (D5) dans l’air et les biogaz. Le D4 et le D5 sont des siloxanes cycliques volatils largement utilisés comme solvants dans les processus industriels et les produits de consommation à la place des COVs précurseurs d’ozone troposphérique tels que les BTEX. Leur présence ubiquitaire dans les échantillons d’air ambiant, due à l’utilisation massive, suscite un besoin d’études de toxicité. De telles études requièrent des analyses qualitatives et quantitatives de traces de ces composés. Par ailleurs, la présence de traces de ces substances dans un biogaz entrave son utilisation comme source d’énergie renouvelable en causant des dommages coûteux à l’équipement. L’analyse des siloxanes dans un biogaz s’avère donc essentielle pour déterminer si le biogaz nécessite une purification avant son utilisation pour la production d’énergie. La méthode développée dans cette étude possède une bonne sensibilité (LDM 4–6 μg/m3), une bonne précision (CV < 10%), une bonne exactitude (> 93%) et une grande sélectivité. Il a été également démontré qu’en utilisant cette méthode avec l’hexaméthyl-d18-disiloxane comme étalon interne, la détection et la quantification du D4 et du D5 dans des échantillons réels de biogaz peuvent être accomplies avec une meilleure sensibilité (LDM ~ 2 μg/m3), une grande précision (CV < 5%) et une grande exactitude (> 97%). Une variété d’échantillons de biogaz prélevés au site d’enfouissement sanitaire du Complexe Environnemental de Saint-Michel à Montréal a été analysée avec succès par cette nouvelle méthode. Les concentrations mesurées étaient de 131–1275 µg/m3 pour le D4 et 250–6226 µg/m3 pour le D5. Ces résultats représentent les premières données rapportées dans la littérature sur la concentration des siloxanes D4 et D5 dans les biogaz d’enfouissement en fonction de l’âge des déchets. / It is known that benzene, toluene, ethylbenzene and xylene isomers, volatile organic compounds (VOCs) commonly called BTEX, have toxic health effects on humans and plants depending on duration and levels of exposure. Benzene in particular is classified carcinogenic, and exposure to benzene at concentrations above 64 g/m3 can be fatal within 5–10 minutes. Therefore, real-time monitoring of BTEX in ambient air is essential for the early warning detection associated with their release and in estimating the potential exposure risks to living beings and the environment. In this thesis, a real-time analysis method for BTEX in ambient air was developed and validated. The method is based on the direct-air sampling technique coupled with tandem mass spectrometry using atmospheric pressure chemical ionization (direct APCI-MS/MS). Validation of the method has shown that it is sensitive (limit of detection LOD 1–2 μg/m3), precise (relative standard deviation RSD < 10%), accurate (accuracy > 95%) and selective. Ambient air samples from an industrial waste landfill site and various automobile repair shops were analyzed by the developed method. Comparison of results with those obtained by online gas chromatography coupled with a flame ionization detector (GC-FID) technique exhibited similar results. The capacity of the method for the fast evaluation of potential risks associated with an exposure to BTEX has been demonstrated through a field study with health risk assessment for workers at three automobile repair shops and through experiments under simulated atmospheres. Concentrations measured in the ambient air of the garages were in the ranges of 8.9–25 µg/m3 for benzene, 119–1156 µg/m3 for toluene, 9–70 µg/m3 for ethylbenzene, and 45–347 µg/m3 for xylenes. A total environmental daily dose of 1.46 10-3–2.52 10-3 mg/kg/day was determined for benzene. The estimated cancer risk due to the total environmental exposure to benzene was between 1.1 10-5 and 1.8 10-5 for the workers studied.
A novel APCI-MS/MS method was also developed and validated for the direct analysis of octamethylcyclotetrasiloxane (D4) and decamethylcyclopentasiloxane (D5) in air and biogases. D4 and D5 are cyclic volatile siloxanes widely used in industrial processes and consumer products as replacement solvents for the tropospheric ozone forming VOCs, such as BTEX. Their ubiquitous presence in ambient air samples, due to the growing consumption, raises the need for toxicity studies which require qualitative and quantitative trace analysis of these compounds. Furthermore, the presence of trace amounts of these substances in a biogas hampers its use as a source of renewable energy by causing expensive damages to the equipment. Thus, siloxane analysis of the biogas is essential in determining if purification is needed before the use for energy production. The method developed in this study for these aims has good sensitivity (LOD 4–6 μg/m3), good precision (RSD < 10%), good accuracy (> 93%) and high selectivity. It was also shown that by using this method with hexamethyl-d18-disiloxane as an internal standard, detection and quantification of D4 and D5 in real biogas samples can be done with a better sensitivity (LOD ~ 2 μg/m3), high precision (RSD < 5%), and high accuracy (> 97%). Various biogas samples collected from the landfill site of the Complexe Environnemental de Saint-Michel in Montreal have been successfully analyzed by this new method. Concentrations measured were in the ranges of 131–1275 µg/m3 for D4 and 250–6226 µg/m3 for D5. These results represent the first primary-literature-reported data on siloxanes D4 and D5 contents of landfill-derived biogases as a function of the refuse age.
|
236 |
Improving sampling, optimization and feature extraction in Boltzmann machinesDesjardins, Guillaume 12 1900 (has links)
L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes.
Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov.
Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température.
Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul.
Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées
“slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires. / Despite the current widescale success of deep learning in training large scale hierarchical models through supervised learning, unsupervised learning promises to play a crucial role towards solving general Artificial Intelligence, where agents are expected to learn with little to no supervision. The work presented in this thesis tackles the problem of unsupervised feature learning and density estimation, using a model family at the heart of the deep learning phenomenon: the Boltzmann Machine (BM). We present contributions in the areas of sampling, partition function estimation, optimization and the more general topic of invariant feature learning.
With regards to sampling, we present a novel adaptive parallel tempering method which dynamically adjusts the temperatures under simulation to maintain good mixing in the presence of complex multi-modal distributions. When used in the context of stochastic maximum likelihood (SML) training, the improved ergodicity of our sampler translates to increased robustness to learning rates and faster per epoch convergence. Though our application is limited to BM, our method is general and is applicable to sampling from arbitrary probabilistic models using Markov Chain Monte Carlo (MCMC) techniques. While SML gradients can be estimated via sampling, computing data likelihoods requires an estimate of the partition function. Contrary to previous approaches which consider the model as a black box, we provide an efficient algorithm which instead tracks the change in the log partition function incurred by successive parameter updates. Our algorithm frames this estimation problem as one of filtering performed over a 2D lattice, with one dimension representing time and the other temperature.
On the topic of optimization, our thesis presents a novel algorithm for applying the natural gradient to large scale Boltzmann Machines. Up until now, its application had been constrained by the computational and memory requirements of computing the Fisher Information Matrix (FIM), which is square in the number of parameters. The Metric-Free Natural Gradient algorithm (MFNG) avoids computing the FIM altogether by combining a linear solver with an efficient matrix-vector operation. The method shows promise in that the resulting updates yield faster per-epoch convergence, despite being slower in terms of wall clock time.
Finally, we explore how invariant features can be learnt through modifications to the BM energy function. We study the problem in the context of the spike & slab Restricted Boltzmann Machine (ssRBM), which we extend to handle both binary and sparse input distributions. By associating each spike with several slab variables, latent variables can be made invariant to a rich, high dimensional subspace resulting in increased invariance in the learnt representation. When using
the expected model posterior as input to a classifier, increased invariance translates to improved classification accuracy in the low-label data regime. We conclude by showing a connection between invariance and the more powerful concept of disentangling factors of variation. While invariance can be achieved by pooling over subspaces, disentangling can be achieved by learning multiple complementary views of the same subspace. In particular, we show how this can be achieved using third-order BMs featuring multiplicative interactions between pairs of random variables.
|
237 |
Méthodes itératives de reconstruction tomographique pour la réduction des artefacts métalliques et de la dose en imagerie dentaire / Iterative reconstruction methods for the reduction of metal artifact and dose in dental CTChen, Long 05 February 2015 (has links)
Cette thèse est constituée de deux principaux axes de recherche portant sur l'imagerie dentaire par la tomographie à rayons X : le développement de nouvelles méthodes itératives de reconstruction tomographique afin de réduire les artefacts métalliques et la réduction de la dose délivrée au patient. Afin de réduire les artefacts métalliques, nous prendrons en compte le durcissement du spectre des faisceaux de rayons X et le rayonnement diffusé. La réduction de la dose est abordée dans cette thèse en diminuant le nombre des projections traitées. La tomographie par rayons X a pour objectif de reconstruire la cartographie des coefficients d'atténuations d'un objet inconnu de façon non destructive. Les bases mathématiques de la tomographie repose sur la transformée de Radon et son inversion. Néanmoins des artefacts métalliques apparaissent dans les images reconstruites en inversant la transformée de Radon (la méthode de rétro-projection filtrée), un certain nombre d'hypothèse faites dans cette approche ne sont pas vérifiées. En effet, la présence de métaux exacerbe les phénomènes de durcissement de spectre et l'absence de prise en compte du rayonnement diffusé. Nous nous intéressons dans cette thèse aux méthodes itératives issues d'une méthodologie Bayésienne. Afin d'obtenir des résultats de traitement compatible avec une application clinique de nos nouvelles approches, nous avons choisi un modèle direct relativement simple et classique (linéaire) associé à des approches de corrections de données. De plus, nous avons pris en compte l'incertitude liée à la correction des données en utilisant la minimisation d'un critère de moindres carrés pondérés. Nous proposons donc une nouvelle méthode de correction du durcissement du métal sans connaissances du spectre de la source et des coefficients d'atténuation des matériaux. Nous proposons également une nouvelle méthode de correction du diffusé associée sur les mesures sous certaines conditions notamment de faible dose. En imagerie médicale par tomographie à rayons X, la surexposition ou exposition non nécessaire irradiante augmente le risque de cancer radio-induit lors d'un examen du patient. Notre deuxième axe de recherche porte donc sur la réduction de la dose en diminuant le nombre de projections. Nous avons donc introduit un nouveau mode d'acquisition possédant un échantillonnage angulaire adaptatif. On utilise pour définir cette acquisition notre connaissance a priori de l'objet. Ce mode d'acquisition associé à un algorithme de reconstruction dédié, nous permet de réduire le nombre de projections tout en obtenant une qualité de reconstruction comparable au mode d'acquisition classique. Enfin, dans certains modes d’acquisition des scanners dentaires, nous avons un détecteur qui n'arrive pas à couvrir l'ensemble de l'objet. Pour s'affranchir aux problèmes liés à la tomographie locale qui se pose alors, nous utilisons des acquisitions multiples suivant des trajectoires circulaires. Nous avons adaptés les résultats développés par l’approche « super short scan » [Noo et al 2003] à cette trajectoire très particulière et au fait que le détecteur mesure uniquement des projections tronquées. Nous avons évalué nos méthodes de réduction des artefacts métalliques et de réduction de la dose en diminuant le nombre des projections sur les données réelles. Grâce à nos méthodes de réduction des artefacts métalliques, l'amélioration de qualité des images est indéniable et il n'y a pas d'introduction de nouveaux artefacts en comparant avec la méthode de l'état de l'art NMAR [Meyer et al 2010]. Par ailleurs, nous avons réussi à réduire le nombre des projections avec notre nouveau mode d'acquisition basé sur un « super short scan » appliqué à des trajectoires multiples. La qualité obtenue est comparable aux reconstructions obtenues avec les modes d'acquisition classiques ou short-scan mais avec une réduction d’au moins 20% de la dose radioactive. / This thesis contains two main themes: development of new iterative approaches for metal artifact reduction (MAR) and dose reduction in dental CT (Computed Tomography). The metal artifacts are mainly due to the beam-hardening, scatter and photon starvation in case of metal in contrast background like metallic dental implants in teeth. The first issue concerns about data correction on account of these effects. The second one involves the radiation dose reduction delivered to a patient by decreasing the number of projections. At first, the polychromatic spectra of X-ray beam and scatter can be modeled by a non-linear direct modeling in the statistical methods for the purpose of the metal artifacts reduction. However, the reconstruction by statistical methods is too much time consuming. Consequently, we proposed an iterative algorithm with a linear direct modeling based on data correction (beam-hardening and scatter). We introduced a new beam-hardening correction without knowledge of the spectra of X-ray source and the linear attenuation coefficients of the materials and a new scatter estimation method based on the measurements as well. Later, we continued to study the iterative approaches of dose reduction since the over-exposition or unnecessary exposition of irradiation during a CT scan has been increasing the patient's risk of radio-induced cancer. In practice, it may be useful that one can reconstruct an object larger than the field of view of scanner. We proposed an iterative algorithm on super-short-scans on multiple scans in this case, which contain a minimal set of the projections for an optimal dose. Furthermore, we introduced a new scanning mode of variant angular sampling to reduce the number of projections on a single scan. This was adapted to the properties and predefined interesting regions of the scanned object. It needed fewer projections than the standard scanning mode of uniform angular sampling to reconstruct the objet. All of our approaches for MAR and dose reduction have been evaluated on real data. Thanks to our MAR methods, the quality of reconstructed images was improved noticeably. Besides, it did not introduce some new artifacts compared to the MAR method of state of art NMAR [Meyer et al 2010]. We could reduce obviously the number of projections with the proposed new scanning mode and schema of super-short-scans on multiple scans in particular case.
|
238 |
Robust nonlinear control : from continuous time to sampled-data with aerospace applications. / Commande non linéaire robuste : du temps-continu jusqu’aux systèmes sous échantillonnage avec applications aérospatiales.Mattei, Giovanni 13 February 2015 (has links)
La thèse porte sur le développement des techniques non linéaires robustes de stabilisation et commande des systèmes avec perturbations de model. D’abord, on introduit les concepts de base de stabilité et stabilisabilité robuste dans le contexte des systèmes non linéaires. Ensuite, on présente une méthodologie de stabilisation par retour d’état en présence d’incertitudes qui ne sont pas dans l’image de la commande («unmatched»). L’approche récursive du «backstepping» permet de compenser les perturbations «unmatched» et de construire une fonction de Lyapunov contrôlée robuste, utilisable pour le calcul ultérieur d’un compensateur des incertitudes dans l’image de la commande («matched»). Le contrôleur obtenu est appelé «recursive Lyapunov redesign». Ensuite, on introduit la technique de stabilisation par «Immersion & Invariance» comme outil pour rendre un donné contrôleur non linéaire, robuste par rapport à dynamiques non modelées. La première technique de contrôle non linéaire robuste proposée est appliquée au projet d’un autopilote pour un missile air-air et au développement d’une loi de commande d’attitude pour un satellite avec appendices flexibles. L’efficacité du «recursive Lyapunov redesign» est mis en évidence dans le deux cas d’étude considérés. En parallèle, on propose une méthode systématique de calcul des termes incertains basée sur un modèle déterministe d’incertitude. La partie finale du travail de thèse est relative à la stabilisation des systèmes sous échantillonnage. En particulier, on reformule, dans le contexte digital, la technique d’Immersion et Invariance. En premier lieu, on propose des solutions constructives en temps continu dans le cas d’une classe spéciale des systèmes en forme triangulaire «feedback form», au moyen de «backstepping» et d’arguments de domination non linéaire. L’implantation numérique est basée sur une loi multi-échelles, dont l’existence est garantie pour la classe des systèmes considérée. Le contrôleur digital assure la propriété d’attractivité et des trajectoires bornées. La loi de commande, calculée par approximation finie d’un développement asymptotique, est validée en simulation de deux exemples académiques et deux systèmes physiques, le pendule inversé sur un chariot et le satellite rigide. / The dissertation deals with the problems of stabilization and control of nonlinear systems with deterministic model uncertainties. First, in the context of uncertain systems analysis, we introduce and explain the basic concepts of robust stability and stabilizability. Then, we propose a method of stabilization via state-feedback in presence of unmatched uncertainties in the dynamics. The recursive backstepping approach allows to compensate the uncertain terms acting outside the control span and to construct a robust control Lyapunov function, which is exploited in the subsequent design of a compensator for the matched uncertainties. The obtained controller is called recursive Lyapunov redesign. Next, we introduce the stabilization technique through Immersion \& Invariance (I\&I) as a tool to improve the robustness of a given nonlinear controller with respect to unmodeled dynamics. The recursive Lyapunov redesign is then applied to the attitude stabilization of a spacecraft with flexible appendages and to the autopilot design of an asymmetric air-to-air missile. Contextually, we develop a systematic method to rapidly evaluate the aerodynamic perturbation terms exploiting the deterministic model of the uncertainty. The effectiveness of the proposed controller is highlighted through several simulations in the second case-study considered. In the final part of the work, the technique of I\& I is reformulated in the digital setting in the case of a special class of systems in feedback form, for which constructive continuous-time solutions exist, by means of backstepping and nonlinear domination arguments. The sampled-data implementation is based on a multi-rate control solution, whose existence is guaranteed for the class of systems considered. The digital controller guarantees, under sampling, the properties of manifold attractivity and trajectory boundedness. The control law, computed by finite approximation of a series expansion, is finally validated through numerical simulations in two academic examples and in two case-studies, namely the cart-pendulum system and the rigid spacecraft.
|
239 |
Analyse de la vapeur d’eau atmosphérique et des processus dynamiques associés / Analysis of atmospheric water vapor and related dynamic processesHadad, Dani 14 December 2018 (has links)
Dans le contexte du réchauffement et du changement climatique, il est important d’étudier les distributions, les cycles saisonniers et les tendances des gaz à l’état de trace dans l’atmosphère tels que la vapeur d’eau. L'Observatoire de Physique du Globe de Clermont-Ferrand a en charge plusieurs dispositifs d’observation dont le site instrumenté Cézeaux, Opme et Puy de Dôme (CO-PDD) situés dans le centre de la France (45◦ N, 3◦ E). Le site des Cézeaux dispose d’un LIDAR Rayleigh – Mie - Raman fournissant en routine des profils verticaux de vapeur d’eau et de paramètres optiques caractérisant les cirrus. Le site du puy de Dôme est équipé d’un spectroscope à cavité optique (CRDS-Picarro). Des mesures de colonnes totales de vapeur d’eau sont disponibles sur tous ces sites par GPS. Le site d’Opme est équipé d’un pluviomètre. Enfin Météo-France effectue le travail de contrôle qualité des données météorologiques sur les stations de mesure en France et ces données ont été utilisées dans cette thèse. La validation des données sur le site du puy de Dôme a été la première la première exploitation dans cette thèse. Des comparaisons des données sur le puy de Dôme ont montré un très bon accord entre les données de vapeur d’eau extraites de la station météorologique du puy de Dôme, de Météo France et les donnes CRDS du puy de Dôme, avec une corrélation de 0.94 et 0.98 respectivement. Les profils verticaux obtenus par LIDAR ont permis de sélectionner une anomalie de vapeur d’eau et d’identifier une intrusion stratosphère-troposphère en analysant les processus dynamique associés à cette anomalie. Les données OLR ont montré que cette intrusion est accompagnée de convection profonde et enfin LACYTRAJ confirme l'origine stratosphérique d’une partie de la masse d'air présente au-dessus de Clermont-Ferrand au cours de l’anomalie. Les longues séries d’observations (ex : Puy de Dôme 1995-2015) et des ré-analyse ECMWF ERA-Interim (1979-2017) et la diversité des sources de données (ex : satellites AIRS et COSMIC), nous permettent de documenter, analyser et comparer la variabilité, les cycles et la tendance de la vapeur d'eau à la surface et dans la troposphère, à différentes échelles de temps et déterminer les processus géophysiques responsables des distributions de vapeur d'eau sur le site CO-PDD. Le cycle annuel de la vapeur d'eau est clairement établi pour les deux sites de différentes altitudes et pour tous les types de mesure. Les sites de Cézeaux et du puy de Dôme ne présentent presque aucun cycle diurne, suggérant que la variabilité de la vapeur d'eau à la surface sur ces deux sites est plus influencée par les systèmes météorologique sporadiques que par les variations diurnes régulières. Les données LIDAR montrent une plus grande variabilité mensuelle de la distribution verticale que les produits satellites COSMIC et AIRS. La colonne totale de vapeur d'eau GPS sur le site des Cézeaux présente une tendance positive (0,42 ± 0,45 g/kg*décade entre 2006-2017). L'analyse par régressions multi-linéaires montre que les forçages continentaux (East Atlantic, East Atlantic-West Russia) ont une plus grande influence que le forçage océanique (Nord Atlantic Oscillation) sur les variations de vapeur d'eau. / In the context of global warming and climate change, it is important to study the distributions, seasonal cycles and trends of trace gases in the atmosphere such as water vapor. of the Observatoire de Physique du Globe de Clermont-Ferrand is in charge of several observation devices including the instrumented site Cézeaux, Opme and Puy de Dôme (CO-PDD) located near the center of France (45◦ N, 3◦ E). The site of Cézeaux is instrumented by a Rayleigh - Mie–LIDAR Raman providing routine vertical profiles of water vapor mixing ratio and optical parameters characterizing cirrus clouds. The puy de Dôme site is equipped with an optical cavity spectroscope (CRDS-Picarro). Measurements of total water vapor columns are available on all these sites by GPS. The Opme site is equipped with rain gauges. Finally, Météo-France performs the quality control work and of data on meteorological stations in France and these data were used in this thesis. The validation of the puy de Dôme data was the first the first task in this thesis. Comparisons between the puy de Dôme data sets showed a very good agreement between the water vapor datafrom the OPGC meteorological station of Puy de Dôme, Météo France and CRDS data with a correlation of 0.94 and 0.98 respectively. The vertical profiles deduced from the LIDAR allowed to identify a water vapor anomaly and a stratosphere-troposphere intrusion associated with this anomaly. OLR data showed that this intrusion could be linked with deep convection and LACYTRAJ confirms the stratospheric origin of a part of the air mass present above Clermont-Ferrand. Long series of observations (eg Puy de Dôme 1995-2015) and ECMWF ERA-Interim re-analysis (1979-2017) and the diversity of data sources (eg AIRS and COSMIC satellites), allowed us to document, analyze and compare the variability, cycles and trend of surface and tropospheric water vapor at different time scales and determine the geophysical processes responsible for water vapor distributions at the site of CO-PDD. The annual cycle of water vapor is clearly established for the two sites of different altitudes and for all types of measurement. Cézeaux and puy de Dôme present almost no diurnal cycle, suggesting that the variability of surface water vapor at this site is more influenced by a sporadic meteorological system than by regular diurnal variations. The LIDAR dataset shows a greater monthly variability of the vertical distribution than the COSMIC and AIRS satellite products. The Cézeaux site presents a positive trend for the GPS water vapor total column (0.42 ± 0.45 g/kg*decade during 2006–2017) and a significant negative trend for the surface water vapor mixing ratio (−0.16 ± 0.09 mm/decade during 2002–2017). The multi-linear regression analysis shows that continental forcings (East Atlantic Pattern and East Atlantic-West Russia Pattern) have a larger influence than oceanic forcing (North Atlantic Oscillation) on the water vapor variations.
|
240 |
Pression d'herbivorie et dynamique des communautés végétales : Influence à court et moyen termes des populations de cervidés sur la diversité des communautés végétales en forêt.Boulanger, Vincent 27 April 2010 (has links) (PDF)
Les cervidés, animaux mobiles et herbivores, peuvent influencer les distributions, assemblages et dynamiques d'espèces végétales. L'objectif de cette thèse est d'évaluer le rôle joué par les cervidés sur la composition, stratification et dynamique de la végétation forestière. Le ré-échantillonnage de relevés couplant composition et abroutissement de la flore, implantés en 1976 en Forêt d'Arc-en-Barrois (52) a permis d'identifier (i) des espèces ligneuses préférées (Cornus sp., Rosa arvensis ) ou au contraire évitées par les cervidés qui sélectionnent les espèces arbustives et à bois dense et (ii) le niveau trophique et la pression d'abroutissement comme gradients structurant la végétation et déterminant les dynamiques des espèces et des communautés. Nous analysons plus précisément le rôle des cervidés dans la progression spectaculaire de Cynoglossum germanicum, espèce rare, épizoochore et toxique.A partir d'un réseau national d'enclos/exclos suivis sur 10 ans, nous montrons que les cervidés limitent la croissance des arbustes et des espèces compétitrices, ce qui profite à la richesse spécifique de la strate herbacée. La valeur écologique et patrimoniale des espèces en progression est discutée. A l'aide de données de chasse, nous tentons d'isoler les rôles des différentes espèces d'ongulés dans ces dynamiques.Ces résultats exposent la complexité et la diversité des effets des cervidés sur la végétation forestière. Enfin, ce travail met l'accent sur la nécessité des suivis temporels intégrant toutes les composantes de l'écosystème forestier pour mieux appréhender les changements en cours.
|
Page generated in 0.0912 seconds