Spelling suggestions: "subject:"méthodes à noyaux reproduisant"" "subject:"méthodes à noyaux reproduisent""
1 |
Modélisation comportementale de systèmes non-linéaires multivariables par méthodes à noyaux et applicationsVazquez, Emmanuel 12 May 2005 (has links) (PDF)
Les méthodes de prédiction linéaire de processus aléatoires, ou krigeage, et les méthodes de régression régularisée par une norme d'espace hilbertien à noyau reproduisant (splines, approximation par fonctions de base radiales, régression à vecteurs de support, etc.) constituent deux approches fondamentales de modélisation comportementale de systèmes non-linéaires. Les liens mathématiques entre ces deux approches ont été mentionnés à plusieurs reprises dans le passé. Fort peu exploités, ces liens n'en restent pas moins fondamentaux puisqu'ils permettent par exemple de comprendre comment formuler le problème de régression régularisée pour l'approximation de fonctions à valeurs vectorielles (cas des systèmes multivariables dits MIMO). Dans les deux approches, le choix du noyau est essentiel car il conditionne la qualité des modèles. Les principaux résultats théoriques sont issus de travaux en statistiques. Bien que de type asymptotique, ils ont des conséquences pratiques importantes rappelées et illustrées dans cette étude. Les noyaux considérés habituellement forment une famille restreinte offrant relativement peu de souplesse. Ceci nous a suggéré de développer des méthodes assemblant un noyau à partir d'un grand nombre de noyaux élémentaires. Elles ont permis d'obtenir des résultats satisfaisants notamment sur un problème test classique issu du domaine de la prédiction de séries chronologiques. Enfin, ce travail s'attache à montrer comment utiliser les méthodes de régression à noyaux à travers la présentation de problèmes réels. Le choix de noyau est abordé en pratique. La prise en compte d'informations disponibles a priori par utilisation du krigeage intrinsèque (régression semi-régularisée) est illustrée. Finalement, des éléments de planification d'expériences sont discutés.
|
2 |
Apprentissage de modèles de mélange à large échelle par Sketching / Sketching for large-scale learning of mixture modelsKeriven, Nicolas 12 October 2017 (has links)
Les bases de données modernes sont de très grande taille, parfois divisées et distribuées sur plusieurs lieux de stockage, ou encore sous forme de flux de données : ceci soulève de nouveaux défis majeurs pour les méthodes d’apprentissage statistique. Une des méthodes récentes capable de s’adapter à ces situations consiste à d’abord compresser les données en une structure appelée sketch linéaire, puis ensuite de réaliser la tâche d’apprentissage en utilisant uniquement ce sketch, ce qui est extrêmement rapide si celui-ci est de petite taille. Dans cette thèse, nous définissons une telle méthode pour estimer un modèle de mélange de distributions de probabilités à partir des données, en utilisant uniquement un sketch de celles-ci. Ce sketch est défini en s’inspirant de plusieurs notions venant du domaine des méthodes à noyaux : le plongement par noyau moyen et les approximations aléatoires de noyaux. Défini comme tel, le sketch correspond à des mesures linéaires de la distribution de probabilité sous-jacente aux données. Ainsi nous analysons le problème en utilisant des outils venant du domaine de l’acquisition comprimée, dans lequel un signal est mesuré aléatoirement sans perte d’information, sous certaines conditions. Nous étendons certains résultats de l’acquisition comprimée à la dimension infinie, donnons des conditions génériques garantissant le succès de notre méthode d’estimation de modèles de mélanges, et les appliquons à plusieurs problèmes, dont notamment celui d’estimer des mélanges de distributions stables multivariées, pour lequel il n’existait à ce jour aucun estimateur. Notre analyse est basée sur la construction d’opérateurs de sketch construits aléatoirement, qui satisfont une Propriété d’Isométrie Restreinte dans l’espace de Banach des mesures finies signées avec forte probabilité. Dans une second partie, nous introduisons un algorithme glouton capable heuristiquement d’estimer un modèle de mélange depuis un sketch linéaire. Cet algorithme est appliqué sur données simulées et réelles à trois problèmes : l’estimation de centres significatifs dans les données, pour lequel on constate que la méthode de sketch est significativement plus rapide qu’un algorithme de k-moyennes classique, l’estimation de mélanges de Gaussiennes, pour lequel elle est plus rapide qu’un algorithme d’Espérance-Maximisation, et enfin l’estimation de mélange de distributions stables multivariées, pour lequel il n’existait à ce jour, à notre connaissance, aucun algorithme capable de réaliser une telle tâche. / Learning parameters from voluminous data can be prohibitive in terms of memory and computational requirements. Furthermore, new challenges arise from modern database architectures, such as the requirements for learning methods to be amenable to streaming, parallel and distributed computing. In this context, an increasingly popular approach is to first compress the database into a representation called a linear sketch, that satisfies all the mentioned requirements, then learn the desired information using only this sketch, which can be significantly faster than using the full data if the sketch is small. In this thesis, we introduce a generic methodology to fit a mixture of probability distributions on the data, using only a sketch of the database. The sketch is defined by combining two notions from the reproducing kernel literature, namely kernel mean embedding and Random Features expansions. It is seen to correspond to linear measurements of the underlying probability distribution of the data, and the estimation problem is thus analyzed under the lens of Compressive Sensing (CS), in which a (traditionally finite-dimensional) signal is randomly measured and recovered. We extend CS results to our infinite-dimensional framework, give generic conditions for successful estimation and apply them analysis to many problems, with a focus on mixture models estimation. We base our method on the construction of random sketching operators such that some Restricted Isometry Property (RIP) condition holds in the Banach space of finite signed measures with high probability. In a second part we introduce a flexible heuristic greedy algorithm to estimate mixture models from a sketch. We apply it on synthetic and real data on three problems: the estimation of centroids from a sketch, for which it is seen to be significantly faster than k-means, Gaussian Mixture Model estimation, for which it is more efficient than Expectation-Maximization, and the estimation of mixtures of multivariate stable distributions, for which, to our knowledge, it is the only algorithm capable of performing such a task.
|
Page generated in 0.1013 seconds