Les travaux de cette thèse explorent les propriétés de procédures d'estimation par agrégation appliquées aux problèmes de régressions en grande dimension. Les estimateurs par agrégation à poids exponentiels bénéficient de résultats théoriques optimaux sous une approche PAC-Bayésienne. Cependant, le comportement théorique de l'agrégat avec extit{prior} de Laplace n'est guère connu. Ce dernier est l'analogue du Lasso dans le cadre pseudo-bayésien. Le Chapitre 2 explicite une borne du risque de prédiction de cet estimateur. Le Chapitre 3 prouve qu'une méthode de simulation s'appuyant sur un processus de Langevin Monte Carlo permet de choisir explicitement le nombre d'itérations nécessaire pour garantir une qualité d'approximation souhaitée. Le Chapitre 4 introduit des variantes du Lasso pour améliorer les performances de prédiction dans des contextes partiellement labélisés. / This thesis explores properties of estimations procedures related to aggregation in the problem of high-dimensional regression in a sparse setting. The exponentially weighted aggregate (EWA) is well studied in the literature. It benefits from strong results in fixed and random designs with a PAC-Bayesian approach. However, little is known about the properties of the EWA with Laplace prior. Chapter 2 analyses the statistical behaviour of the prediction loss of the EWA with Laplace prior in the fixed design setting. Sharp oracle inequalities which generalize the properties of the Lasso to a larger family of estimators are established. These results also bridge the gap from the Lasso to the Bayesian Lasso. Chapter 3 introduces an adjusted Langevin Monte Carlo sampling method that approximates the EWA with Laplace prior in an explicit finite number of iterations for any targeted accuracy. Chapter 4 explores the statisctical behaviour of adjusted versions of the Lasso for the transductive and semi-supervised learning task in the random design setting.

La Modélisation spatio-temporelle permet la prédiction d’une variable régionalisée à des sites non observés du domaine d’étude, basée sur l’observation de cette variable en quelques sites du domaine à différents temps t donnés. Dans cette thèse, l’approche que nous avons proposé consiste à coupler des modèles numériques et statistiques. En effet en privilégiant l’approche bayésienne nous avons combiné les différentes sources d’information : l’information spatiale apportée par les observations, l’information temporelle apportée par la boîte noire ainsi que l’information a priori connue du phénomène. Ce qui permet une meilleure prédiction et une bonne quantification de l’incertitude sur la prédiction. Nous avons aussi proposé un nouveau critère d’optimalité de plans d’expérience incorporant d’une part le contrôle de l’incertitude en chaque point du domaine et d’autre part la valeur espérée du phénomène. / Spatio-temporal modeling allows to make the prediction of a regionalized variable at unobserved points of a given field, based on the observations of this variable at some points of field at different times. In this thesis, we proposed a approach which combine numerical and statistical models. Indeed by using the Bayesian methods we combined the different sources of information : spatial information provided by the observations, temporal information provided by the black-box and the prior information on the phenomenon of interest. This approach allowed us to have a good prediction of the variable of interest and a good quantification of incertitude on this prediction. We also proposed a new method to construct experimental design by establishing a optimality criterion based on the uncertainty and the expected value of the phenomenon.

Résumé : Dans ce projet, un décodage neuronal bayésien est effectué sur le colliculus inférieur du cochon d'Inde. Premièrement, On lit les potentiels évoqués grâce aux électrodes et ensuite on en déduit les potentiels d'actions à l'aide de technique de classification des décharges des neurones. Ensuite, un modèle linéaire généralisé (GLM) est entraîné en associant un stimulus acoustique en même temps que les mesures de potentiel qui sont effectuées. Enfin, nous faisons le décodage neuronal de l'activité des neurones en utilisant une méthode d'estimation statistique par maximum à posteriori afin de reconstituer la représentation spectro-temporelle du signal acoustique qui correspond au stimulus acoustique. Dans ce projet, nous étudions l'impact de différents modèles de codage neuronal ainsi que de différentes représentations spectro-temporelles (qu'elles sont supposé représenter le stimulus acoustique équivalent) sur la précision du décodage bayésien de l'activité neuronale enregistrée par le système auditif central. En fait, le modèle va associer une représentation spectro-temporelle équivalente au stimulus acoustique à partir des mesures faites dans le cerveau. Deux modèles de codage sont comparés: un GLM et un modèle bilinéaire généralisé (GBM), chacun avec trois différentes représentations spectro-temporelles des stimuli d'entrée soit un spectrogramme ainsi que deux représentations bio-inspirées: un banc de filtres gammatones et un spikegramme. Les paramètres des GLM et GBM, soit le champ récepteur spectro-temporel, le filtre post décharge et l'entrée non linéaire (seulement pour le GBM) sont adaptés en utilisant un algorithme d'optimisation par maximum de vraisemblance (ML). Le rapport signal sur bruit entre la représentation reconstruite et la représentation originale est utilisé pour évaluer le décodage, c'est-à-dire la précision de la reconstruction. Nous montrons expérimentalement que la précision de la reconstruction est meilleure avec une représentation par spikegramme qu'avec une représentation par spectrogramme et, en outre, que l'utilisation d'un GBM au lieu d'un GLM augmente la précision de la reconstruction. En fait, nos résultats montrent que le rapport signal à bruit de la reconstruction d'un spikegramme avec le modèle GBM est supérieur de 3.3 dB au rapport signal à bruit de la reconstruction d'un spectrogramme avec le modèle GLM. / Abstract : In this project, Bayesian neural decoding is performed on the neural activity recorded from the inferior colliculus of the guinea pig following the presentation of a vocalization. In particular, we study the impact of different encoding models on the accuracy of reconstruction of different spectro-temporal representations of the input stimulus. First voltages recorded from the inferior colliculus of the guinea pig are read and the spike trains are obtained. Then, we fit an encoding model to the stimulus and associated spike trains. Finally, we do neural decoding on the pairs of stimuli and neural activities using the maximum a posteriori optimization method to obtain the reconstructed spectro-temporal representation of the signal. Two encoding models, a generalized linear model (GLM) and a generalized bilinear model (GBM), are compared along with three different spectro-temporal representations of the input stimuli: a spectrogram and two bio-inspired representations, i.e. a gammatone filter bank (GFB) and a spikegram. The parameters of the GLM and GBM including spectro-temporal receptive field, post spike filter and input non linearity (only for the GBM) are fitted using the maximum likelihood optimization (ML) algorithm. Signal to noise ratios between the reconstructed and original representations are used to evaluate the decoding, or reconstruction accuracy. We experimentally show that the reconstruction accuracy is better with the spikegram representation than with the spectrogram and GFB representation. Furthermore, using a GBM instead of a GLM significantly increases the reconstruction accuracy. In fact, our results show that the spikegram reconstruction accuracy with a GBM fitting yields an SNR that is 3.3 dB better than when using the standard decoding approach of reconstructing a spectrogram with GLM fitting.

Dans cette thèse de doctorat, nous présentons les travaux que nous avons effectués dans trois directions reliées : la compression de données en alphabet infini, les statistiques bayésiennes en dimension infinie, et les mélanges de distributions discrètes multivariées. Dans le cadre de la compression de données sans perte, nous nous sommes intéressé à des classes de sources stationnaires sans mémoire sur un alphabet infini, définies par une condition d'enveloppe à décroissance exponentielle sur les distributions marginales. Un équivalent de la redondance minimax de ces classes a été obtenue. Un algorithme approximativement minimax ainsi que des a-priori approximativement les moins favorables, basés sur l'a-priori de Jeffreys en alphabet fini, ont en outre été proposés. Le deuxième type de travaux porte sur la normalité asymptotique des distributions a-posteriori (théorèmes de Bernstein-von Mises) dans différents cadres non-paramétriques et semi-paramétriques. Tout d'abord, dans un cadre de régression gaussienne lorsque le nombre de régresseurs augmente avec la taille de l'échantillon. Les théorèmes non-paramétriques portent sur les coefficients de régression, tandis que les théorèmes semi-paramétriques portent sur des fonctionnelles de la fonction de régression. Dans nos applications au modèle de suites gaussiennes et à la régression de fonctions appartenant à des classe de Sobolev ou de régularité hölderiennes, nous obtenons simultanément le théorème de Bernstein-von Mises et la vitesse d'estimation fréquentiste minimax. L'adaptativité est atteinte pour l'estimation de fonctionnelles dans ces applications. Par ailleurs nous présentons également un théorème de Bernstein-von Mises non-paramétrique pour des modèles exponentiels de dimension croissante. Enfin, le dernier volet de ce travail porte sur l'estimation du nombre de composantes et des variables pertinentes dans des modèles de mélange de lois multinomiales multivariées, dans une optique de classification non supervisée. Ce type de modèles est utilisé par exemple pour traiter des données génotypiques. Un critère du maximum de vraisemblance pénalisé est proposé, et une inégalité oracle non-asymptotique est obtenue. Le critère retenu en pratique comporte une calibration grâce à l'heuristique de pente. Ses performances sont meilleurs que celles des critères classiques BIC et AIC sur des données simulées. L'ensemble des procédures est implémenté dans un logiciel librement accessible.

Le but de cette thèse est de développer des outils statistiques permettant d'initialiser et de calibrer les modèles de microsimulation dynamique stochastique, en partant de l'exemple du modèle SimVillages (développé dans le cadre du projet Européen PRIMA). Ce modèle couple des dynamiques démographiques et économiques appliquées à une population de municipalités rurales. Chaque individu de la population, représenté explicitement dans un ménage au sein d'une commune, travaille éventuellement dans une autre, et possède sa propre trajectoire de vie. Ainsi, le modèle inclut-il des dynamiques de choix de vie, d'étude, de carrière, d'union, de naissance, de divorce, de migration et de décès. Nous avons développé, implémenté et testé les modèles et méthodes suivants : 1 / un modèle permettant de générer une population synthétique à partir de données agrégées, où chaque individu est membre d'un ménage, vit dans une commune et possède un statut au regard de l'emploi. Cette population synthétique est l'état initial du modèle. 2 / un modèle permettant de simuler une table d'origine-destination des déplacements domicile-travail à partir de données agrégées. 3 / un modèle permettant d'estimer le nombre d'emplois dans les services de proximité dans une commune donnée en fonction de son nombre d'habitants et de son voisinage en termes de service. 4 / une méthode de calibration des paramètres inconnus du modèle SimVillages de manière à satisfaire un ensemble de critères d'erreurs définis sur des sources de données hétérogènes. Cette méthode est fondée sur un nouvel algorithme d'échantillonnage séquentiel de type Approximate Bayesian Computation.

Cette thèse est centralisée sur cette question : comment est-ce que le système visuel peut coder efficacement la position des objets en mouvement, en dépit des diverses sources d'incertitude ? Cette étude déploie une hypothèse sur la connaissance a priori de la cohérence temporelle du mouvement (Burgi et al 2000; Yuille and Grzywacz 1989). Nous avons ici étendu le cadre de modélisation précédemment proposé pour expliquer le problème de l'ouverture (Perrinet and Masson, 2012). C'est un cadre d'estimation de mouvement Bayésien mis en oeuvre par un filtrage particulaire, que l'on appelle la prévision basé sur le mouvement (MBP). Sur cette base, nous avons introduit une théorie du codage de position basée sur le mouvement, et étudié comment les mécanismes neuronaux codant la position instantanée de l'objet en mouvement pourraient être affectés par le signal de mouvement le long d'une trajectoire. Les résultats de cette thèse suggèrent que le codage de la position basé sur le mouvement peut constituer un calcul neuronal générique parmi toutes les étapes du système visuel. Cela peut en partie compenser les effets cumulatifs des délais neuronaux dans le codage de la position. En outre, il peut expliquer des changements de position basés sur le mouvement, comme par example, l'Effect de Saut de Flash. Comme un cas particulier, nous avons introduit le modèle de MBP diagonal et avons reproduit la réponse anticipée de populations de neurones dans l'aire cortical V1. Nos résultats indiquent qu'un codage en position efficace et robuste peut être fortement dépendant de l'intégration le long de la trajectoire. / Coding the position of moving objects is an essential ability of the visual system in fulfilling precise and robust tracking tasks. This thesis is focalized upon this question: How does the visual system efficiently encode the position of moving objects, despite various sources of uncertainty? This study deploys the hypothesis that the visual systems uses prior knowledge on the temporal coherency of motion (Burgi et al 2000; Yuille and Grzywacz 1989). We implemented this prior by extending the modeling framework previously proposed to explain the aperture problem (Perrinet and Masson, 2012), so-called motion-based prediction (MBP). This model is a Bayesian motion estimation framework implemented by particle filtering. Based on that, we have introduced a theory on motion-based position coding, to investigate how neural mechanisms encoding the instantaneous position of moving objects might be affected by motion. Results of this thesis suggest that motion-based position coding might be a generic neural computation among all stages of the visual system. This mechanism might partially compensate the accumulative and restrictive effects of neural delays in position coding. Also it may account for motion-based position shifts as the flash lag effect. As a specific case, results of diagonal MBP model reproduced the anticipatory response of neural populations in the primary visual cortex of macaque monkey. Our results imply that an efficient and robust position coding might be highly dependent on trajectory integration and that it constitutes a key neural signature to study the more general problem of predictive coding in sensory areas.

Ce travail porte sur la segmentation jointe d’un ensemble d’images dans un cadre bayésien.Le modèle proposé combine le processus de Dirichlet hiérarchique (HDP) et le champ de Potts.Ainsi, pour un groupe d’images, chacune est divisée en régions homogènes et les régions similaires entre images sont regroupées en classes. D’une part, grâce au HDP, il n’est pas nécessaire de définir a priori le nombre de régions par image et le nombre de classes, communes ou non.D’autre part, le champ de Potts assure une homogénéité spatiale. Les lois a priori et a posteriori en découlant sont complexes rendant impossible le calcul analytique d’estimateurs. Un algorithme de Gibbs est alors proposé pour générer des échantillons de la loi a posteriori. De plus,un algorithme de Swendsen-Wang généralisé est développé pour une meilleure exploration dela loi a posteriori. Enfin, un algorithme de Monte Carlo séquentiel a été défini pour l’estimation des hyperparamètres du modèle.Ces méthodes ont été évaluées sur des images-test et sur des images naturelles. Le choix de la meilleure partition se fait par minimisation d’un critère indépendant de la numérotation. Les performances de l’algorithme sont évaluées via des métriques connues en statistiques mais peu utilisées en segmentation d’image. / This work concerns the joint segmentation of a set images in a Bayesian framework. The proposed model combines the hierarchical Dirichlet process (HDP) and the Potts random field. Hence, for a set of images, each is divided into homogeneous regions and similar regions between images are grouped into classes. On the one hand, thanks to the HDP, it is not necessary to define a priori the number of regions per image and the number of classes, common or not.On the other hand, the Potts field ensures a spatial consistency. The arising a priori and a posteriori distributions are complex and makes it impossible to compute analytically estimators. A Gibbs algorithm is then proposed to generate samples of the distribution a posteriori. Moreover,a generalized Swendsen-Wang algorithm is developed for a better exploration of the a posteriori distribution. Finally, a sequential Monte Carlo sampler is defined for the estimation of the hyperparameters of the model.These methods have been evaluated on toy examples and natural images. The choice of the best partition is done by minimization of a numbering free criterion. The performance are assessed by metrics well-known in statistics but unused in image segmentation.

La plupart des patients infectés par le VIH ont une charge virale qui peut être rendue indétectable par des combinaisons antirétrovirales hautement actives (cART); cependant, il existe des effets secondaires aux traitements. L'utilisation des modèles mécanistes dynamiques basés sur des équations différentielles ordinaires (ODE) a considérablement amélioré les connaissances de la dynamique HIV-système immunitaire et permet d'envisager une personnalisation du traitement. L'objectif de ces travaux de thèse est d'améliorer les techniques statistiques d'estimation de paramètres dans les modèles mécanistes dynamiques afin de proposer des stratégies de surveillance et d'optimisation des traitements. Après avoir introduit NIMROD un algorithme d'estimation bayésienne basé sur une maximisation de la vraisemblance pénalisée, nous montrons la puissance des approches mécanistes dynamiques pour l'évaluation des effets traitements par rapport aux méthodes descriptives d'analyse des trajectoires des biomarqueurs. Puis, nous définissons le « modèle à cellules cibles », un système ODE décrivant la dynamique du VIH et des CD4. Nous montrons qu'il possède de bonnes capacités prédictives. Nous proposons une preuve de concept de la possibilité de contrôler individuellement la dose de traitement. Cette stratégie adaptative réajuste la dose du patient en fonction de sa réaction à la dose précédente par une procédure bayésienne. Pour finir, nous introduisons la possibilité de l’'individualisation des changements de cART. Ce travail passe par la quantification in vivo d'effets de cART en utilisant des indicateurs d'activité antivirale in vitro. Nous discutons la validité des résultats et les étapes méthodologiques nécessaires pour l'intégration de ces méthodes dans les pratiques cliniques. / Most HIV-infected patients viral loads can be made undetectable by highly active combination of antiretroviral therapy (cART), but there are side effects of treatments. The use of dynamic mechanistic models based on ordinary differential equations (ODE) has greatly improved the knowledge of the dynamics of HIV and of the immune system and can be considered for personalization of treatment. The aim of these PhD works is to improve the statistical techniques for estimating parameters in dynamic mechanistic models so as to elaborate strategies for monitoring and optimizing treatments. We present an algorithm and program called NIMROD using Bayesian inference based on the maximization of the penalized likelihood. Then, we show the power of dynamic mechanistic approaches for the evaluation of treatment effects compared to methods based on the descriptive analysis of the biomarkers trajectories. Next, we build the “target cells model “, an ODE system of the dynamics between the HIV and CD4. We demonstrate it has good predictive capabilities. We build a proof of concept for drug dose individualization. It consists in tuning the dose of the patient based on his reaction to the previous doses using a Bayesian update procedure. Finally, we introduce the possibility of designing an individualized change of cART. This work involves the quantification of in vivo effects of cART using in vitro antiviral activity indicators. We discuss the validity of the results and the further steps needed for the integration of these methods in clinical practice.

Cette thèse étudie deux modèles paramétriques et non paramétriques pour le changement de représentation. L'objectif des deux modèles diffère. Le premier cherche une représentation en plus grande dimension pour gagner en robustesse. L'objectif est de répartir uniformément l’information d’un signal sur toutes les composantes de sa représentation en plus grande dimension. La recherche d'un tel code s'exprime comme un problème inverse impliquant une régularisation de type norme infinie. Nous proposons une formulation bayésienne du problème impliquant une nouvelle loi de probabilité baptisée démocratique, qui pénalise les fortes amplitudes. Deux algorithmes MCMC proximaux sont présentés pour approcher des estimateurs bayésiens. La méthode non supervisée présentée est appelée BAC-1. Des expériences numériques illustrent les performances de l’approche pour la réduction de facteur de crête. Le second modèle identifie un sous-espace pertinent de dimension réduite à des fins de modélisation. Mais les méthodes probabilistes proposées nécessitent généralement de fixer à l'avance la dimension du sous-espace. Ce travail introduit BNP-PCA, une version bayésienne non paramétrique de l'analyse en composantes principales. La méthode couple une loi uniforme sur les bases orthonormales à un a priori non paramétrique de type buffet indien pour favoriser une utilisation parcimonieuse des composantes principales et aucun réglage n'est nécessaire. L'inférence est réalisée à l'aide des méthodes MCMC. L'estimation de la dimension du sous-espace et le comportement numérique de BNP-PCA sont étudiés. Nous montrons la flexibilité de BNP-PCA sur deux applications / This thesis proposes Bayesian parametric and nonparametric models for signal representation. The first model infers a higher dimensional representation of a signal for sake of robustness by enforcing the information to be spread uniformly. These so called anti-sparse representations are obtained by solving a linear inverse problem with an infinite-norm penalty. We propose in this thesis a Bayesian formulation of anti-sparse coding involving a new probability distribution, referred to as the democratic prior. A Gibbs and two proximal samplers are proposed to approximate Bayesian estimators. The algorithm is called BAC-1. Simulations on synthetic data illustrate the performances of the two proposed samplers and the results are compared with state-of-the art methods. The second model identifies a lower dimensional representation of a signal for modelisation and model selection. Principal component analysis is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Few works have proposed a probabilistic approach to infer the number of significant components. We propose a Bayesian nonparametric principal component analysis called BNP-PCA. The proposed model involves an Indian buffet process to promote a parsimonious use of principal components, which is assigned a prior distribution defined on the manifold of orthonormal basis. Inference is done using MCMC methods. The estimators of the latent dimension are theoretically and empirically studied. The relevance of the approach is assessed on two applications

Le réchauffement climatique entraîne des changements dans la dynamique et la distribution des populations. J'ai utilisé une étude de 19 ans, en Bretagne, sur un limicole longévif et migrateur partiel, l'Avocette élégante, pour quantifier et comparer les paramètres démographiques associés aux différentes stratégies de migration. Les taux de survie et les manifestations de la sénescence associées étaient similaires chez les résidents et les migrateurs, mais les migrateurs montraient un âge de recrutement plus tardif que les résidents. L'investissement reproductif était plus élevé et exempt de sénescence chez les individus recrutés à l'âge d'un an, alors que ceux commençant à se reproduire plus tard subissaient de la sénescence reproductive. La fitness des migrateurs était inférieure à celle des résidents, ce qui explique leur déclin pendant la période étudiée, alors que la population résidente est elle restée stable. La faible productivité, due à la prédation, entraîne le déclin de la population bretonne malgré un taux d'immigration important, ce qui doit absolument être pris en compte lors de la définition des politiques locales de conservation. / Global warming causes changes in the dynamics and distribution of populations. I used a 19-year study, in Brittany, on a long-lived and partial migrant, the Pied Avocet, to quantify and compare the demographic rates associated with different migration strategies. Survival rates and associated senescence patterns were similar in residents and in migrants, but migrants exhibited a delayed recruitment age. Reproductive investment was higher and senescence was absent in individuals recruited at the age of one year, whereas those who began to reproduce later showed reproductive senescence. The fitness of migrants was lower than the fitness of residents, which explained their decline over the study period, while the resident population remained stable. Low productivity, due to predation, caused the Brittany population to decline despite a high immigration rate, which questions local conservation policies.