Spelling suggestions: "subject:"probabilistic models"" "subject:"probabilistica models""
51 |
MYOP/ToPS/SGEval: Um ambiente computacional para estudo sistemático de predição de genes / MYOP/ToPS/SGEval: A computational framework for gene predictionAndré Yoshiaki Kashiwabara 10 February 2012 (has links)
O desafio de encontrar corretamente genes eucarioticos codificadores de proteinas nas sequencias genomicas e um problema em aberto. Neste trabalho, implementamos uma plata- forma, com o objetivo de melhorar a forma com que preditores de genes sao implementados e avaliados. Tres novas ferramentas foram implementadas: ToPS (Toolkit of Probabilistic Models of Sequences) foi o primeiro arcabouco orientado a objetos que fornece ferramentas para implementacao, manipulacao, e combinacao de modelos probabilisticos para representar sequencias de simbolos; MYOP (Make Your Own Predictor) e um sistema que tem como objetivo facilitar a construcao de preditores de genes; e SGEval utiliza grafos de splicing para comparar diferente anotacoes com eventos de splicing alternativos. Utilizamos nossas ferramentas para o desenvolvimentos de preditores de genes em onze genomas distintos: A. thaliana, C. elegans, Z. mays, P. falciparum, D. melanogaster, D. rerio, M. musculus, R. norvegicus, O. sativa, G. max e H. sapiens. Com esse desenvolvimento, estabelecemos um protocolo para implementacao de novos preditores. Alem disso, utilizando a nossa plata- forma, desenvolvemos um fluxo de trabalho para predicao de genes no projeto do genoma da cana de acucar, que ja foi utilizado em 109 sequencias de BAC geradas pelo BIOEN (FAPESP Bioenergy Program). / The challenge of correctly identify eukaryotic protein-coding genes in the genomic se- quences is an open problem. In this work, we implemented a plataform with the aim of improving the way that gene predictors are implemented and evaluated. ToPS (Toolkit of Probabilistic Models of Sequence) was the first object-oriented framework that provides tools for implementation, manipulation, and combination of probabilistic models that represent sequences of symbols. MYOP (Make Your Own Predictor) facilitates the construction of gene predictors. SGEval (Splicing Graph Evaluation) uses splicing graphs to compare dif- ferent annotations with alternative splicing events. We used our plataform to develop gene finders in eleven distinct genomes: A. thaliana, C. elegans, Z. mays, P. falciparum, D. me- lanogaster, D. rerio, M. musculus, R. norvegicus, O. sativa, G. max e H. sapiens. With this development, we established a protocol for implementing new gene predictors. In addi- tion, using our platform, we developed a pipeline to find genes in the 109 sugarcane BAC sequences produced by BIOEN (FAPESP Bioenergy Program).
|
52 |
Approche probabiliste pour l'estimation dynamique de la confiance accordée à un équipement de production : vers une contribution au diagnostic de services des SED / A probabilistic approach to dynamically estimate the confidence for production equipments : Contribution to the diagnosis of discrete event systems services.Duong, Quoc Bao 19 December 2012 (has links)
Le travail que nous présentons dans ce mémoire apporte sa contribution au domaine dela surveillance et de la supervision en ligne des systèmes à événements discrets complexes.Il se place dans un contexte perturbé par l’occurrence d’aléas de fonctionnement d’une partieopérative au sein duquel nous visons à mettre à disposition des équipes de maintenance desoutils pour les aider à localiser rapidement les équipements à l’origine probable de défautsproduits : localiser mieux pour maintenir mieux et donc minimiser encore davantage les tempsde dérives équipements. Si les équipements de production étaient en mesure de détecterde telles dérives, le problème pourrait être considéré comme simple, cependant, la présenced’équipements de métrologie montre le contraire. Aussi, partant du constat que les équipementsde production ne peuvent être dotés d’un système de captage couvrant de manière exhaustivel’ensemble des paramètres à observer, que la fiabilité des capteurs est variable dans le temps,que les contextes de production sont particulièrement stressants, nous avons proposé ici dedévelopper une approche probabiliste basée sur un raisonnement Bayésien permettant d’estimeren temps réel la confiance qui peut être accordée aux opérations réalisées par les équipementsde production. / The work that we present in this paper contributes to the field of supervision, monitoringand control of complex discrete event systems services. It is placed in the context of randomfailure occurrence of operative parts where we focus on providing tools to maintenance teamsby locating the possible origin of potential defect products: better locate to better maintain, soeffectively to minimize more equipment’s time drift. If the production equipment were able todetect such drifts, the problem could be considered simple; however, metrology equipment addsto the complexity. In addition, because of an impossibility to equip the production equipment witha sensor system which comprehensively covers all parameters to be observed, a variable sensorreliability in time and a stressed production environments, we propose a probabilistic approachbased on Bayesian network to estimate real time confidence, which can be used for productionequipment?s operation.
|
53 |
Computational methods for the identification of transcriptional regulation modulesGustavo Soares da Fonseca, Paulo 31 January 2008 (has links)
Made available in DSpace on 2014-06-12T15:50:15Z (GMT). No. of bitstreams: 2
arquivo1959_1.pdf: 2352925 bytes, checksum: 90760b286db4ed0dcc12ae48554413a9 (MD5)
license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5)
Previous issue date: 2008 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Estudos recentes têm demonstrado que as redes biológicas apresentam características nãoaleatórias,
dentre as quais destacamos a arquitetura modular. Neste trabalho, estamos interessados
na organização modular das redes de regulação transcricional (RRT), que modelizam
as interações entre genes e proteínas que controlam a sua expressão no nível transcricional.
Compreender os mecanismos de regulação transcricional é crucial para se explicar
a diversidade morfológica e funcional das células.
Nós nos propomos a abordar o problema da identificação de módulos regulatórios transcricionais,
i.e. grupos de genes co-regulados e seus reguladores, com ênfase no aspecto
computacional. Uma distinção importante deste trabalho é que estamos também interessados
em estudar o aspecto evolutivo dos módulos transcricionais. Do ponto de vista biológico,
a abordagem proposta está fundamentada em três premissas principais: (i) genes
co-regulados são controlados por proteínas regulatórias comuns (fatores de transcrição
FTs) e, portanto, eles devem apresentar padrões de sequência (motifs) comuns nas suas
regiões regulatórias, que correspondem aos sítios de ligação desses FTs, (ii) genes co-regulados
respondem coordenadamente a certas condições ambientais e de desenvolvimento
e, logo, devem ser co-expressos sob essas condições, e (iii) uma vez que módulos transcricionais
são presumivelmente responsáveis por funções biológicas importantes, eles estão
sujeitos a uma maior pressão seletiva e, consequentemente, devem ser evolutivamente
conservados. Nós definimos, portanto, o conceito de metamódulo regulatório transcricional
(MMRT) como grupos de genes compartilhando motifs e exibindo um comportamento de
expressão coerente em contextos específicos consistentemente em várias espécies e propomos
modelos probabilísticos para descrever o comportamento modular em termos do compartilhamento
de elementos regulatórios (motifs), da co-expressão e da conservação evolutiva
das associações funcionais entre os genes com base em dados diversos tais como dados
de sequência, de expressão e dados filogenéticos
|
54 |
Conception robuste aux incertitudes des systèmes légers bois envibro-acoustique linéaire / Robust design of lightweight wood-based systems in linear vibroacousticsCoguenanff, Corentin 22 October 2015 (has links)
La compréhension et la prédiction du comportement vibro-acoustique des systèmes légers bois du bâtiment constitue un enjeu scientifique d'actualité. En 2015 une étude montrait encore que presque la moitié de ces systèmes constructifs n'offrait pas satisfaction. Un modèle prédictif à l'échelle du bâtiment, en cours de normalisation, permet de prendre en compte la performance individuelle des différents systèmes séparatifs pour remonter à un niveau de performance globale. La difficulté scientifique réside alors dans l'évaluation de la performance individuelle associée à chaque conception admissible, dans un vaste ensemble de systèmes techniquement réalisables. Dans cette recherche, une méthodologie est proposée pour la construction de modèles numériques capables de prendre en compte, aux basses fréquences, la complexité et la diversité des systèmes bois constitués de multiples plaques, poutres, cavités acoustiques et matériaux poroélastiques. En accord avec les procédures d'évaluation normalisées, des modèles déterministes pour les excitations mécaniques du système sont construits. Une approche probabiliste est alors développée en réponse à la problématique des incertitudes liées à la construction légère. Ainsi, en résolvant un problème stochastique inverse utilisant des données expérimentales pour identifier les hyperparamètres de modèles probabilistes développés, il est possible de quantifier la propagation des incertitudes du système à la performance prédite en conditions de laboratoire. Par suite, des configurations optimales, robustes aux incertitudes, sont recherchées. Du fait de la nature combinatoire du problème d'optimisation, un algorithme génétique, particulièrement adapté à un espace de recherche discret ainsi qu'à l'optimisation multi-objectif, est mis en oeuvre. Dans les cas traités, les configurations optimales tendent vers une maximisation de la rigidité structurelle / Being able to understand and predict the vibroacoustic behavior of lightweight wood-based building systems contitute a serious scientific concern. In 2015, acoustic comfort investigation claims that unsatisfactions are expressed with respect to around 50% of such constructions. In particular, low frequency discomfort is target of criticism. A methodology was proposed, currently running through standardisation process, which translates the individual performance of the building systems into a global building performance index. The challenge consequently lies in the prediction of the individual performances in regard to the wide spread of wood based designs. In this research, a methodology is introduced for the construction of computational models able to handle the complexity and diversity of the systems, constituted of multiple boards, stiffeners, cavities and poroelastic media. Structural excitations of the system are constructed according to standard evaluation procedures. Then, a probabilistic approach is undertaken in order to take into account the uncertainty problematic, inherent to lightweight wood based constructions. In particular, stochastic inverse problems are constructed to identify, from experimental measurements, hyperparameters associated with ad hoc probabilistic models. Eventually, uncertainty quantification can be performed in regard to predicted performance in laboratory conditions. Following, robust optimal designs are sought in the presence of uncertainties. No continuous mapping from the search space of the configurations to the space of the fitness functions representative of the objective performance exists and derivatives cannot be defined. By way of consequence, the class of the evolutionnary algorithm, suited to discrete search spaces as well as multi-objective optimisation, is chosen. Considered optimisation problems displayed preferential directions of the genetic algorithm towards stiffest admissible designs
|
55 |
Application des méthodes de partitionnement de données fonctionnelles aux trajectoires de voiturePaul, Alexandre 08 1900 (has links)
La classification et le regroupement des données fonctionnelles longitudinales ont fait
beaucoup de progrès dans les dernières années. Plusieurs méthodes ont été proposées et
ont démontré des résultats prometteurs. Pour ce mémoire, on a comparé le comportement
des algorithmes de partitionnement sur un ensemble de données décrivant les trajectoires
de voitures dans une intersection de Montréal. La motivation est qu’il est coûteux et long
de faire la classification manuellement et on démontre dans cet ouvrage qu’il est possible
d’obtenir des prédictions adéquates avec les différents algorithmes.
Parmi les méthodes utilisées, la méthode distclust utilise l’approche des K-moyennes avec
une notion de distance entre les courbes fonctionnelles. On utilise aussi une classification
par mélange de densité gaussienne, mclust. Ces deux approches n’étant pas conçues uniquement pour le problème de classification fonctionnelle, on a donc également appliqué des
méthodes fonctionnelles spécifiques au problème : fitfclust, funmbclust, funclust et funHDDC.
On démontre que les résultats du partitionnement et de la prédiction obtenus par ces
approches sont comparables à ceux obtenus par ceux basés sur la distance. Les méthodes
fonctionnelles sont préférables, car elles permettent d’utiliser des critères de sélection objectifs
comme le AIC et le BIC. On peut donc éviter d’utiliser une partition préétablie pour valider
la qualité des algorithmes, et ainsi laisser les données parler d’elles-mêmes. Finalement, on
obtient des estimations détaillées de la structure fonctionnelle des courbes, comme sur l’impact de la réduction de données avec une analyse en composantes principales fonctionnelles
multivariées. / The study of the clustering of functional data has made a lot of progress in the last couple of years. Multiple methods have been proposed and the respective analysis has shown their eÿciency with some benchmark studies. The objective of this Master’s thesis is to compare those clustering algorithms with datasets from traÿc at an intersection of Montreal. The idea behind this is that the manual classification of these data sets is time-consuming. We show that it is possible to obtain adequate clustering and prediction results with several algorithms.
One of the methods that we discussed is distclust : a distance-based algorithm that uses a K-means approach. We will also use a Gaussian mixture density clustering method known as mclust. Although those two techniques are quite e˙ective, they are multi-purpose clustering methods, therefore not tailored to the functional case. With that in mind, we apply four functional clustering methods : fitfclust, funmbclust, funclust, and funHDDC.
Our results show that there is no loss in the quality of the clustering between the afore-mentioned functional methods and the multi-purpose ones. We prefer to use the functional ones because they provide a detailed estimation of the functional structure of the trajectory curves. One notable detail is the impact of a dimension reduction done with multivari-ate functional principal components analysis. Furthermore, we can use objective selection criteria such as the AIC and the BIC, and avoid using cluster quality indices that use a pre-existing classification of the data.
|
56 |
Real-Time Probabilistic Locomotion Synthesis for Uneven Terrain / Probabilistisk Rörelsesyntes for ojämn terräng i realtidJonsson, Emil January 2021 (has links)
In modern games and animation there is a constant strive for more realistic motion. Today a lot of games use motion matching and blending with lots of post-processing steps to produce animations, but these methods often require huge amounts of motions clips while still having problems with realistic joint weights. Using machine learning for generating motion is a fairly new technique, and is proving to be a viable option due to the lower cost and potentially more realistic results. Probabilistic models could be suitable candidates for solving a problem such as this as the are able to model a wide variety of motions due to their built-in randomness. This thesis examines a few different models which could be used for generating motion for character when interacting with terrain, such as when walking up an incline. The main models examined in this thesis are the MoGlow model and a CVAE model. Firstly virtual scenes are built in Unity based upon loads of motion capture clips containing movements interacting with the terrain. A character is then inserted into the scene and the animation clips are played. Data is exported consisting of the character’s joint positions and rotations in relation to the surrounding terrain. This data is then used to train the models using supervised learning. Evaluation of this is done by having character go through an obstacles course of varying terrains, generating motion from the different models. After this foot sliding was measured as well as frame-rates. This was also compared to values from that of a selection of motion capture clips. In addition to this a user study is conducted where the users are asked to rate the quality of generated motion in certain video clips. The results show that both the MoGlow and CVAE models produced movement resembling real human movement on uneven terrain, with the MoGlow model’s results being most similar to that of a the motion capture training data. These were also found to be executable at interactive frame-rates, making them suitable for use in video games. / I moderna spel och animationer finns det en konstant strävan efter mer realistisk rörelse. I dagsläget använder många spel teknologier så som rörelsematchning och flera efterprocessering steg för att producera animationer, men ett problem med dessa metoder är att det oftast krävs enorma mängder rörelse klipp för att kunna anpassas till alla möjliga situationer, samtidigt som man ofta tappar lite av vikten i rörelserna. Användet av maskinginlärning för att generera rörelser är en relativt ny utveckling, och ses som en möjlig lösning till dessa problem. Probabilistka modeller är en typ av modeller som kan användas för detta, eftersom att de kan representera en bred variation av rörelser med samma model, på grund av den underligande slumpmässigheten. Det här pappret kommer att undersöka olika probabilistka modeller som kan användas för att generera rörelse när man även tar hansyn till omgivningen, tex när man går i en uppförsbacke. De huvudsakliga modellerna som kommer undersökas är en MoGlow model och en CVAE model. Först så byggs virtuella scener in Unity utifrån en mängd animationsklipp. Därefter stoppas en karaktär in och de här klippen spelas upp. I detta steg är data exporterad som innehåller karaktärens position och benens rotationer i relation till omgivningen. Denna data används sedan för att träna modellerna med väglett lärande. Evaluering är genomförd genom att ha karaktärer gå igenom hinderbanor uppbyggda av varierande terränger, där modeller genererar rörelser för karaktären. Fotglidande och bildhastighet är avmätt och resultatet av metoderna är jämfört med varandra och med utvald data från inspelade träningsdatan. Utöver detta görs även en användarstudie där personer får ge betyg till generarde rörelser utifrån en mängd videoklipp. Resultaten visar att båda MoGlow och CVAE modellen producerar rörelse som liknar realsiska männsklig rörelse vid interaktion mod ojämn terräng. MoGlow modellen visar resultat mest likt den inspelade data. Alla modeller testade går att kör interaktiva bildhastigheter, vilket gör dem lämpliga för använding i dataspel.
|
57 |
Échantillonnage dynamique de champs markoviensBreuleux, Olivier 11 1900 (has links)
L'un des modèles d'apprentissage non-supervisé générant le plus de recherche active est la machine de Boltzmann --- en particulier la machine de Boltzmann restreinte, ou RBM. Un aspect important de l'entraînement ainsi que l'exploitation d'un tel modèle est la prise d'échantillons. Deux développements récents, la divergence contrastive persistante rapide (FPCD) et le herding, visent à améliorer cet aspect, se concentrant principalement sur le processus d'apprentissage en tant que tel. Notamment, le herding renonce à obtenir un estimé précis des paramètres de la RBM, définissant plutôt une distribution par un système dynamique guidé par les exemples d'entraînement. Nous généralisons ces idées afin d'obtenir des algorithmes permettant d'exploiter la distribution de probabilités définie par une RBM pré-entraînée, par tirage d'échantillons qui en sont représentatifs, et ce sans que l'ensemble d'entraînement ne soit nécessaire. Nous présentons trois méthodes: la pénalisation d'échantillon (basée sur une intuition théorique) ainsi que la FPCD et le herding utilisant des statistiques constantes pour la phase positive. Ces méthodes définissent des systèmes dynamiques produisant des échantillons ayant les statistiques voulues et nous les évaluons à l'aide d'une méthode d'estimation de densité non-paramétrique. Nous montrons que ces méthodes mixent substantiellement mieux que la méthode conventionnelle, l'échantillonnage de Gibbs. / One of the most active topics of research in unsupervised learning is the Boltzmann machine --- particularly the Restricted Boltzmann Machine or RBM. In order to train, evaluate or exploit such models, one has to draw samples from it. Two recent algorithms, Fast Persistent Contrastive Divergence (FPCD) and Herding aim to improve sampling during training. In particular, herding gives up on obtaining a point estimate of the RBM's parameters, rather defining the model's distribution with a dynamical system guided by training samples. We generalize these ideas in order to obtain algorithms capable of exploiting the probability distribution defined by a pre-trained RBM, by sampling from it, without needing to make use of the training set. We present three methods: Sample Penalization, based on a theoretical argument as well as FPCD and Herding using constant statistics for their positive phases. These methods define dynamical systems producing samples with the right statistics and we evaluate them using non-parametric density estimation. We show that these methods mix substantially better than Gibbs sampling, which is the conventional sampling method used for RBMs.
|
58 |
Modélisation de l’incertitude sur les trajectoires d’avions / Uncertainty modeling on aircraft trajectoriesFouemkeu, Norbert 22 October 2010 (has links)
Dans cette thèse, nous proposons des modèles probabilistes et statistiques d’analyse de données multidimensionnelles pour la prévision de l’incertitude sur les trajectoires d’aéronefs. En supposant que pendant le vol, chaque aéronef suit sa trajectoire 3D contenue dans son plan de vol déposé, nous avons utilisé l’ensemble des caractéristiques de l’environnement des vols comme variables indépendantes pour expliquer l’heure de passage des aéronefs sur les points de leur trajectoire de vol prévue. Ces caractéristiques sont : les conditions météorologiques et atmosphériques, les paramètres courants des vols, les informations contenues dans les plans de vol déposés et la complexité de trafic. Typiquement, la variable dépendante dans cette étude est la différence entre les instants observés pendant le vol et les instants prévus dans les plans de vol pour le passage des aéronefs sur les points de leur trajectoire prévue : c’est la variable écart temporel. En utilisant une technique basée sur le partitionnement récursif d’un échantillon des données, nous avons construit quatre modèles. Le premier modèle que nous avons appelé CART classique est basé sur le principe de la méthode CART de Breiman. Ici, nous utilisons un arbre de régression pour construire une typologie des points des trajectoires des vols en fonction des caractéristiques précédentes et de prévoir les instants de passage des aéronefs sur ces points. Le second modèle appelé CART modifié est une version améliorée du modèle précédent. Ce dernier est construit en remplaçant les prévisions calculées par l’estimation de la moyenne de la variable dépendante dans les nœuds terminaux du modèle CART classique par des nouvelles prévisions données par des régressions multiples à l’intérieur de ces nœuds. Ce nouveau modèle développé en utilisant l’algorithme de sélection et d’élimination des variables explicatives (Stepwise) est parcimonieux. En effet, pour chaque nœud terminal, il permet d’expliquer le temps de vol par des variables indépendantes les plus pertinentes pour ce nœud. Le troisième modèle est fondé sur la méthode MARS, modèle de régression multiple par les splines adaptatives. Outre la continuité de l’estimateur de la variable dépendante, ce modèle permet d’évaluer les effets directs des prédicteurs et de ceux de leurs interactions sur le temps de passage des aéronefs sur les points de leur trajectoire de vol prévue. Le quatrième modèle utilise la méthode d’échantillonnage bootstrap. Il s’agit notamment des forêts aléatoires où pour chaque échantillon bootstrap de l’échantillon de données initial, un modèle d’arbre de régression est construit, et la prévision du modèle général est obtenue par une agrégation des prévisions sur l’ensemble de ces arbres. Malgré le surapprentissage observé sur ce modèle, il est robuste et constitue une solution au problème d’instabilité des arbres de régression propre à la méthode CART. Les modèles ainsi construits ont été évalués et validés en utilisant les données test. Leur application au calcul des prévisions de la charge secteur en nombre d’avions entrants a montré qu’un horizon de prévision d’environ 20 minutes pour une fenêtre de temps supérieure à 20 minutes permettait d’obtenir les prévisions avec des erreurs relatives inférieures à 10%. Parmi ces modèles, CART classique et les forêts aléatoires présentaient de meilleures performances. Ainsi, pour l’autorité régulatrice des courants de trafic aérien, ces modèles constituent un outil d’aide pour la régulation et la planification de la charge des secteurs de l’espace aérien contrôlé. / In this thesis we propose probabilistic and statistic models based on multidimensional data for forecasting uncertainty on aircraft trajectories. Assuming that during the flight, aircraft follows his 3D trajectory contained into his initial flight plan, we used all characteristics of flight environment as predictors to explain the crossing time of aircraft at given points on their planned trajectory. These characteristics are: weather and atmospheric conditions, flight current parameters, information contained into the flight plans and the air traffic complexity. Typically, in this study, the dependent variable is difference between actual time observed during flight and planned time to cross trajectory planned points: this variable is called temporal difference. We built four models using method based on partitioning recursive of the sample. The first called classical CART is based on Breiman CART method. Here, we use regression trees to build points typology of aircraft trajectories based on previous characteristics and to forecast crossing time of aircrafts on these points. The second model called amended CART is the previous model improved. This latter is built by replacing forecasting estimated by the mean of dependent variable inside the terminal nodes of classical CART by new forecasting given by multiple regression inside these nodes. This new model developed using Stepwise algorithm is parcimonious because for each terminal node it permits to explain the flight time by the most relevant predictors inside the node. The third model is built based on MARS (Multivariate adaptive regression splines) method. Besides continuity of the dependent variable estimator, this model allows to assess the direct and interaction effects of the explanatory variables on the crossing time on flight trajectory points. The fourth model uses boostrap sampling method. It’s random forests where for each bootstrap sample from the initial data, a tree regression model is built like in CART method. The general model forecasting is obtained by aggregating forecasting on the set of trees. Despite the overfitting observed on this model, it is robust and constitutes a solution against instability problem concerning regression trees obtained from CART method. The models we built have been assessed and validated using data test. Their using to compute the sector load forecasting in term to aircraft count entering the sector shown that, the forecast time horizon about 20 minutes with the interval time larger than 20 minutes, allowed to obtain forecasting with relative errors less than 10%. Among all these models, classical CART and random forests are more powerful. Hence, for regulator authority these models can be a very good help for managing the sector load of the airspace controlled.
|
59 |
Latent variable language modelsTan, Shawn 08 1900 (has links)
No description available.
|
60 |
Échantillonnage dynamique de champs markoviensBreuleux, Olivier 11 1900 (has links)
L'un des modèles d'apprentissage non-supervisé générant le plus de recherche active est la machine de Boltzmann --- en particulier la machine de Boltzmann restreinte, ou RBM. Un aspect important de l'entraînement ainsi que l'exploitation d'un tel modèle est la prise d'échantillons. Deux développements récents, la divergence contrastive persistante rapide (FPCD) et le herding, visent à améliorer cet aspect, se concentrant principalement sur le processus d'apprentissage en tant que tel. Notamment, le herding renonce à obtenir un estimé précis des paramètres de la RBM, définissant plutôt une distribution par un système dynamique guidé par les exemples d'entraînement. Nous généralisons ces idées afin d'obtenir des algorithmes permettant d'exploiter la distribution de probabilités définie par une RBM pré-entraînée, par tirage d'échantillons qui en sont représentatifs, et ce sans que l'ensemble d'entraînement ne soit nécessaire. Nous présentons trois méthodes: la pénalisation d'échantillon (basée sur une intuition théorique) ainsi que la FPCD et le herding utilisant des statistiques constantes pour la phase positive. Ces méthodes définissent des systèmes dynamiques produisant des échantillons ayant les statistiques voulues et nous les évaluons à l'aide d'une méthode d'estimation de densité non-paramétrique. Nous montrons que ces méthodes mixent substantiellement mieux que la méthode conventionnelle, l'échantillonnage de Gibbs. / One of the most active topics of research in unsupervised learning is the Boltzmann machine --- particularly the Restricted Boltzmann Machine or RBM. In order to train, evaluate or exploit such models, one has to draw samples from it. Two recent algorithms, Fast Persistent Contrastive Divergence (FPCD) and Herding aim to improve sampling during training. In particular, herding gives up on obtaining a point estimate of the RBM's parameters, rather defining the model's distribution with a dynamical system guided by training samples. We generalize these ideas in order to obtain algorithms capable of exploiting the probability distribution defined by a pre-trained RBM, by sampling from it, without needing to make use of the training set. We present three methods: Sample Penalization, based on a theoretical argument as well as FPCD and Herding using constant statistics for their positive phases. These methods define dynamical systems producing samples with the right statistics and we evaluate them using non-parametric density estimation. We show that these methods mix substantially better than Gibbs sampling, which is the conventional sampling method used for RBMs.
|
Page generated in 0.1071 seconds