L’un des problèmes importants en apprentissage automatique est de déterminer la complexité du modèle à apprendre. Une trop grande complexité mène au surapprentissage, ce qui correspond à trouver des structures qui n’existent pas réellement dans les données, tandis qu’une trop faible complexité mène au sous-apprentissage, c’est-à-dire que l’expressivité du modèle est insuffisante pour capturer l’ensemble des structures présentes dans les données. Pour certains modèles probabilistes, la complexité du modèle se traduit par l’introduction d’une ou plusieurs variables cachées dont le rôle est d’expliquer le processus génératif des données. Il existe diverses approches permettant d’identifier le nombre approprié de variables cachées d’un modèle. Cette thèse s’intéresse aux méthodes Bayésiennes nonparamétriques permettant de déterminer le nombre de variables cachées à utiliser ainsi que leur dimensionnalité. La popularisation des statistiques Bayésiennes nonparamétriques au sein de la communauté de l’apprentissage automatique est assez récente. Leur principal attrait vient du fait qu’elles offrent des modèles hautement flexibles et dont la complexité s’ajuste proportionnellement à la quantité de données disponibles. Au cours des dernières années, la recherche sur les méthodes d’apprentissage Bayésiennes nonparamétriques a porté sur trois aspects principaux : la construction de nouveaux modèles, le développement d’algorithmes d’inférence et les applications. Cette thèse présente nos contributions à ces trois sujets de recherches dans le contexte d’apprentissage de modèles à variables cachées. Dans un premier temps, nous introduisons le Pitman-Yor process mixture of Gaussians, un modèle permettant l’apprentissage de mélanges infinis de Gaussiennes. Nous présentons aussi un algorithme d’inférence permettant de découvrir les composantes cachées du modèle que nous évaluons sur deux applications concrètes de robotique. Nos résultats démontrent que l’approche proposée surpasse en performance et en flexibilité les approches classiques d’apprentissage. Dans un deuxième temps, nous proposons l’extended cascading Indian buffet process, un modèle servant de distribution de probabilité a priori sur l’espace des graphes dirigés acycliques. Dans le contexte de réseaux Bayésien, ce prior permet d’identifier à la fois la présence de variables cachées et la structure du réseau parmi celles-ci. Un algorithme d’inférence Monte Carlo par chaîne de Markov est utilisé pour l’évaluation sur des problèmes d’identification de structures et d’estimation de densités. Dans un dernier temps, nous proposons le Indian chefs process, un modèle plus général que l’extended cascading Indian buffet process servant à l’apprentissage de graphes et d’ordres. L’avantage du nouveau modèle est qu’il admet les connections entres les variables observables et qu’il prend en compte l’ordre des variables. Nous présentons un algorithme d’inférence Monte Carlo par chaîne de Markov avec saut réversible permettant l’apprentissage conjoint de graphes et d’ordres. L’évaluation est faite sur des problèmes d’estimations de densité et de test d’indépendance. Ce modèle est le premier modèle Bayésien nonparamétrique permettant d’apprendre des réseaux Bayésiens disposant d’une structure complètement arbitraire. / One of the important problems in machine learning is determining the complexity of the model to learn. Too much complexity leads to overfitting, which finds structures that do not actually exist in the data, while too low complexity leads to underfitting, which means that the expressiveness of the model is insufficient to capture all the structures present in the data. For some probabilistic models, the complexity depends on the introduction of one or more latent variables whose role is to explain the generative process of the data. There are various approaches to identify the appropriate number of latent variables of a model. This thesis covers various Bayesian nonparametric methods capable of determining the number of latent variables to be used and their dimensionality. The popularization of Bayesian nonparametric statistics in the machine learning community is fairly recent. Their main attraction is the fact that they offer highly flexible models and their complexity scales appropriately with the amount of available data. In recent years, research on Bayesian nonparametric learning methods have focused on three main aspects: the construction of new models, the development of inference algorithms and new applications. This thesis presents our contributions to these three topics of research in the context of learning latent variables models. Firstly, we introduce the Pitman-Yor process mixture of Gaussians, a model for learning infinite mixtures of Gaussians. We also present an inference algorithm to discover the latent components of the model and we evaluate it on two practical robotics applications. Our results demonstrate that the proposed approach outperforms, both in performance and flexibility, the traditional learning approaches. Secondly, we propose the extended cascading Indian buffet process, a Bayesian nonparametric probability distribution on the space of directed acyclic graphs. In the context of Bayesian networks, this prior is used to identify the presence of latent variables and the network structure among them. A Markov Chain Monte Carlo inference algorithm is presented and evaluated on structure identification problems and as well as density estimation problems. Lastly, we propose the Indian chefs process, a model more general than the extended cascading Indian buffet process for learning graphs and orders. The advantage of the new model is that it accepts connections among observable variables and it takes into account the order of the variables. We also present a reversible jump Markov Chain Monte Carlo inference algorithm which jointly learns graphs and orders. Experiments are conducted on density estimation problems and testing independence hypotheses. This model is the first Bayesian nonparametric model capable of learning Bayesian learning networks with completely arbitrary graph structures.

Ce mémoire comprend 7 chapitres où sont présentées les différentes contributions de l'auteur : 1. Introduction. 2. Sur la stabilité des filtres récursifs bidimensionnels (deux algorithmes et une étude comparative de la robustesse de différents algorithmes face aux erreurs d'arrondi) 3. Bancs de filtres adaptés, application au codage sans perte des images (généralisation de la structure en lifting scheme des bancs de filtres avec application à la compression sans perte des images). 4. Bancs de filtres hybrides et conversion analogique/numérique. 5. Analyse en composantes indépendantes (ACI) et compression de données (un nouveau point de vue, permettant de faire le lien entre l'ACI et la compression de données par transformées pour de faibles distorsions, est introduit ; il est basé sur le critère que doit minimiser une transformation optimale en codage par transformée – sans l'hypothèse de données gaussiennes – ; présentation de deux algorithmes de recherche de transformation optimale en codage à faibles distorsions. 6. ACI appliquée au codage des images multicomposantes (extension de l'étude précédente à des images multi- et hyper-spectrales, critère minimisé par une transformation spectrale optimale pour un schéma de compression compatible avec JPEG2000 Partie 2, présentation de deux algorithmes de recherche de transformation spectrale optimale – OST et OrthOST –) 7. Conclusion et perspectives. Il est complété par deux annexes, l'une rappelant des éléments de la théorie de l'information et de la quantification, l'autre présentant quelques publications de l'auteur.

Diss.--Fachbereich statistik--Universität Dortmund, 2000. / Bibliogr. p. 177-182.

Thèse de doctorat--Physique--Stuttgart--Universität, 2001. / Bibliogr. p. 153-159.

Dissertation--Uppsala universitet, 2001. / Bibliogr. p. 267-288. Résumé en anglais.

Thèse d'exercice : Pharmacie : Université de Nantes : 2005. / Bibliogr. f. 92-94 [18 réf.].

Thèse doctorat : Traitement du signal et télécommunications : Rennes 1 : 2005. / Bibliogr. p. 193-205.

Reproduction de : Thèse de doctorat : Didactique des mathématiques : Lyon 1 : 2005. / Titre provenant de l'écran titre. 146 réf. bibliogr.

Thèse de doctorat : Rayonnement en Imagerie Médicale : INPL : 2008. / Titre provenant de l'écran-titre.

Reproduction de : Thèse de doctorat : Signal, image, acoustique et optimisation : Toulouse, INPT : 2008. / Titre provenant de l'écran-titre. Bibliogr. 105 réf.