Le modèle ROF (Rudin, Osher, Fatemi), introduit en 1992 en utilisant la variation totale comme terme de régularisation pour la restauration d'images, a fait l'objet de nombreuses recherches théoriques et numériques depuis. Dans cette thèse, nous présentons de nouveaux modèles inspirés de la variation totale mais construits par analogie avec une méthode de débruitage beaucoup plus récente et radicalement différente : les moyennes non locales (NL-means). Dans une première partie, nous transposons le modèle ROF dans un cadre bayésien, et montrons que l'estimateur associé à un risque quadratique (moyenne a posteriori) peut être calculé numériquement à l'aide d'un algorithme de type MCMC (Monte Carlo Markov Chain), dont la convergence est soigneusement contrôlée compte tenu de la dimension élevée de l'espace des images. Nous montrons que le débruiteur associé permet notamment d'éviter le phénomène de "staircasing", défaut bien connu du modèle ROF. Dans la deuxième partie, nous proposons tout d'abord une version localisée du modèle ROF et en analysons certains aspects : compromis biais-variance, EDP limite, pondération du voisinage, etc. Enfin, nous discutons le choix de la variation totale en tant que modèle a priori, en confrontant le point de vue géométrique (modèle ROF) au cadre statistique (modélisation bayésienne).

No abstract

Cette thèse se décompose en deux parties. Dans un premier temps nous nous intéressons à la sélection bayésienne de variables dans un modèle probit mixte.L'objectif est de développer une méthode pour sélectionner quelques variables pertinentes parmi plusieurs dizaines de milliers tout en prenant en compte le design d'une étude, et en particulier le fait que plusieurs jeux de données soient fusionnés. Le modèle de régression probit mixte utilisé fait partie d'un modèle bayésien hiérarchique plus large et le jeu de données est considéré comme un effet aléatoire. Cette méthode est une extension de la méthode de Lee et al. (2003). La première étape consiste à spécifier le modèle ainsi que les distributions a priori, avec notamment l'utilisation de l'a priori conventionnel de Zellner (g-prior) pour le vecteur des coefficients associé aux effets fixes (Zellner, 1986). Dans une seconde étape, nous utilisons un algorithme Metropolis-within-Gibbs couplé à la grouping (ou blocking) technique de Liu (1994) afin de surmonter certaines difficultés d'échantillonnage. Ce choix a des avantages théoriques et computationnels. La méthode développée est appliquée à des jeux de données microarray sur le cancer du sein. Cependant elle a une limite : la matrice de covariance utilisée dans le g-prior doit nécessairement être inversible. Or il y a deux cas pour lesquels cette matrice est singulière : lorsque le nombre de variables sélectionnées dépasse le nombre d'observations, ou lorsque des variables sont combinaisons linéaires d'autres variables. Nous proposons donc une modification de l'a priori de Zellner en y introduisant un paramètre de type ridge, ainsi qu'une manière de choisir les hyper-paramètres associés. L'a priori obtenu est un compromis entre le g-prior classique et l'a priori supposant l'indépendance des coefficients de régression, et se rapproche d'un a priori précédemment proposé par Gupta et Ibrahim (2007).Dans une seconde partie nous développons deux nouvelles méthodes MCMC basées sur des populations de chaînes. Dans le cas de modèles complexes ayant de nombreux paramètres, mais où la vraisemblance des données peut se calculer, l'algorithme Equi-Energy Sampler (EES) introduit par Kou et al. (2006) est apparemment plus efficace que l'algorithme classique du Parallel Tempering (PT) introduit par Geyer (1991). Cependant, il est difficile d'utilisation lorsqu'il est couplé avec un échantillonneur de Gibbs, et nécessite un stockage important de valeurs. Nous proposons un algorithme combinant le PT avec le principe d'échanges entre chaînes ayant des niveaux d'énergie similaires dans le même esprit que l'EES. Cette adaptation appelée Parallel Tempering with Equi-Energy Moves (PTEEM) conserve l'idée originale qui fait la force de l'algorithme EES tout en assurant de bonnes propriétés théoriques et une utilisation facile avec un échantillonneur de Gibbs.Enfin, dans certains cas complexes l'inférence peut être difficile car le calcul de la vraisemblance des données s'avère trop coûteux, voire impossible. De nombreuses méthodes sans vraisemblance ont été développées. Par analogie avec le Parallel Tempering, nous proposons une méthode appelée ABC-Parallel Tempering, basée sur la théorie des MCMC, utilisant une population de chaînes et permettant des échanges entre elles. / This thesis is divided into two main parts. In the first part, we propose a Bayesian variable selection method for probit mixed models. The objective is to select few relevant variables among tens of thousands while taking into account the design of a study, and in particular the fact that several datasets are merged together. The probit mixed model used is considered as part of a larger hierarchical Bayesian model, and the dataset is introduced as a random effect. The proposed method extends a work of Lee et al. (2003). The first step is to specify the model and prior distributions. In particular, we use the g-prior of Zellner (1986) for the fixed regression coefficients. In a second step, we use a Metropolis-within-Gibbs algorithm combined with the grouping (or blocking) technique of Liu (1994). This choice has both theoritical and practical advantages. The method developed is applied to merged microarray datasets of patients with breast cancer. However, this method has a limit: the covariance matrix involved in the g-prior should not be singular. But there are two standard cases in which it is singular: if the number of observations is lower than the number of variables, or if some variables are linear combinations of others. In such situations we propose to modify the g-prior by introducing a ridge parameter, and a simple way to choose the associated hyper-parameters. The prior obtained is a compromise between the conditional independent case of the coefficient regressors and the automatic scaling advantage offered by the g-prior, and can be linked to the work of Gupta and Ibrahim (2007).In the second part, we develop two new population-based MCMC methods. In cases of complex models with several parameters, but whose likelihood can be computed, the Equi-Energy Sampler (EES) of Kou et al. (2006) seems to be more efficient than the Parallel Tempering (PT) algorithm introduced by Geyer (1991). However it is difficult to use in combination with a Gibbs sampler, and it necessitates increased storage. We propose an algorithm combining the PT with the principle of exchange moves between chains with same levels of energy, in the spirit of the EES. This adaptation which we are calling Parallel Tempering with Equi-Energy Move (PTEEM) keeps the original idea of the EES method while ensuring good theoretical properties and a practical use in combination with a Gibbs sampler.Then, in some complex models whose likelihood is analytically or computationally intractable, the inference can be difficult. Several likelihood-free methods (or Approximate Bayesian Computational Methods) have been developed. We propose a new algorithm, the Likelihood Free-Parallel Tempering, based on the MCMC theory and on a population of chains, by using an analogy with the Parallel Tempering algorithm.

Cette thèse étudie deux modèles paramétriques et non paramétriques pour le changement de représentation. L'objectif des deux modèles diffère. Le premier cherche une représentation en plus grande dimension pour gagner en robustesse. L'objectif est de répartir uniformément l’information d’un signal sur toutes les composantes de sa représentation en plus grande dimension. La recherche d'un tel code s'exprime comme un problème inverse impliquant une régularisation de type norme infinie. Nous proposons une formulation bayésienne du problème impliquant une nouvelle loi de probabilité baptisée démocratique, qui pénalise les fortes amplitudes. Deux algorithmes MCMC proximaux sont présentés pour approcher des estimateurs bayésiens. La méthode non supervisée présentée est appelée BAC-1. Des expériences numériques illustrent les performances de l’approche pour la réduction de facteur de crête. Le second modèle identifie un sous-espace pertinent de dimension réduite à des fins de modélisation. Mais les méthodes probabilistes proposées nécessitent généralement de fixer à l'avance la dimension du sous-espace. Ce travail introduit BNP-PCA, une version bayésienne non paramétrique de l'analyse en composantes principales. La méthode couple une loi uniforme sur les bases orthonormales à un a priori non paramétrique de type buffet indien pour favoriser une utilisation parcimonieuse des composantes principales et aucun réglage n'est nécessaire. L'inférence est réalisée à l'aide des méthodes MCMC. L'estimation de la dimension du sous-espace et le comportement numérique de BNP-PCA sont étudiés. Nous montrons la flexibilité de BNP-PCA sur deux applications / This thesis proposes Bayesian parametric and nonparametric models for signal representation. The first model infers a higher dimensional representation of a signal for sake of robustness by enforcing the information to be spread uniformly. These so called anti-sparse representations are obtained by solving a linear inverse problem with an infinite-norm penalty. We propose in this thesis a Bayesian formulation of anti-sparse coding involving a new probability distribution, referred to as the democratic prior. A Gibbs and two proximal samplers are proposed to approximate Bayesian estimators. The algorithm is called BAC-1. Simulations on synthetic data illustrate the performances of the two proposed samplers and the results are compared with state-of-the art methods. The second model identifies a lower dimensional representation of a signal for modelisation and model selection. Principal component analysis is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Few works have proposed a probabilistic approach to infer the number of significant components. We propose a Bayesian nonparametric principal component analysis called BNP-PCA. The proposed model involves an Indian buffet process to promote a parsimonious use of principal components, which is assigned a prior distribution defined on the manifold of orthonormal basis. Inference is done using MCMC methods. The estimators of the latent dimension are theoretically and empirically studied. The relevance of the approach is assessed on two applications

Made available in DSpace on 2016-06-02T20:06:06Z (GMT). No. of bitstreams: 1 4331.pdf: 1908865 bytes, checksum: d564b46a6111fdca6f7cc9f4d5596637 (MD5) Previous issue date: 2009-03-18 / Universidade Federal de Minas Gerais / The Weibull distribuition is a common initial choice for modeling data with monotone hazard rates. However, such distribution fails to provide a reasonable parametric _t when the hazard function is unimodal or bathtub-shaped. In this context, Cooray (2006) proposed a generalization of the Weibull family by considering the distributions of the odds of Weibull and inverse Weibull families, referred as the odd Weibull family which is not just useful for modeling unimodal and bathtub-shaped hazards, but it is also convenient for testing goodness-of-_t of Weibull and inverse Weibull as submodels. In this project we have systematically studied the odd Weibull family along with its properties, showing motivations for its utilization, inserting covariates in the model, pointing out some troubles associated with the maximum likelihood estimation and proposing interval estimation and hypothesis test construction methodologies for the model parameters. We have also compared resampling results with asymptotic ones. Coverage probability from proposed con_dence intervals and size and power of considered hypothesis tests were both analyzed as well via Monte Carlo simulation. Furthermore, we have proposed a Bayesian estimation methodology for the model parameters based in Monte Carlo Markov Chain (MCMC) simulation techniques. / A distribuição Weibull é uma escolha inicial freqüente para modelagem de dados com taxas de risco monótonas. Entretanto, esta distribuição não fornece um ajuste paramétrico razoável quando as funções de risco assumem um formato unimodal ou em forma de banheira. Neste contexto, Cooray (2006) propôs uma generalização da família Weibull considerando a distribuição da razão de chances das famílias Weibull e Weibull inversa, referida como família Weibull de razão de chances. Esta família não é apenas conveniente para modelar taxas de risco unimodal e banheira, mas também é adequada para testar a adequabilidade do ajuste das famílias Weibull e Weibull inversa como submodelos. Neste trabalho, estudamos sistematicamente a família Weibull de razão de chances e suas propriedades, apontando as motivações para o seu uso, inserindo covariáveis no modelo, veri_cando as di_culdades referentes ao problema da estimação de máxima verossimilhança dos parâmetros do modelo e propondo metodologia de estimação intervalar e construção de testes de hipóteses para os parâmetros do modelo. Comparamos os resultados obtidos por meio dos métodos de reamostragem com os resultados obtidos via teoria assintótica. Tanto a probabilidade de cobertura dos intervalos de con_ança propostos quanto o tamanho e poder dos testes de hipóteses considerados foram estudados via simulação de Monte Carlo. Além disso, propusemos uma metodologia Bayesiana de estimação para os parâmetros do modelo baseados em técnicas de simulação de Monte Carlo via Cadeias de Markov.