Principal Component Analysis (PCA) and Canonical Correlation Analysis (CCA) are widely-used mathematical models for decomposing multivariate data. They capture spatial relationships between variables, but ignore any temporal relationships that might exist between observations. Probabilistic PCA (PPCA) and Probabilistic CCA (ProbCCA) are versions of these two models that explain the statistical properties of the observed variables as linear mixtures of an alternative, hypothetical set of hidden, or latent, variables and explicitly model noise. Both the noise and the latent variables are assumed to be Gaussian distributed. This thesis introduces two new models, named PPCA-AR and ProbCCA-AR, that augment PPCA and ProbCCA respectively with autoregressive processes over the latent variables to additionally capture temporal relationships between the observations. To make PPCA-AR and ProbCCA-AR robust to outliers and able to model leptokurtic data, the Gaussian assumptions are replaced with infinite scale mixtures of Gaussians, using the Student-t distribution. Bayesian inference calculates posterior probability distributions for each of the parameter variables, from which we obtain a measure of confidence in the inference. It avoids the pitfalls associated with the maximum likelihood method: integrating over all possible values of the parameter variables guards against overfitting. For these new models the integrals required for exact Bayesian inference are intractable; instead a method of approximation, the variational Bayesian approach, is used. This enables the use of automatic relevance determination to estimate the model orders. PPCA-AR and ProbCCA-AR can be viewed as linear dynamical systems, so the forward-backward algorithm, also known as the Baum-Welch algorithm, is used as an efficient method for inferring the posterior distributions of the latent variables. The exact algorithm is tractable because Gaussian assumptions are made regarding the distribution of the latent variables. This thesis introduces a variational Bayesian forward-backward algorithm based on Student-t assumptions. The new models are demonstrated on synthetic datasets and on real remote sensing and EEG data.

Le but de la classification est de partager des ensembles de données en sous-ensembles les plus homogènes possibles, c'est-à-dire que les membres d'une classe doivent plus se ressembler entre eux qu'aux membres des autres classes. Le problème se complique lorsque le statisticien souhaite définir des groupes à la fois sur les individus et sur les variables. Le modèle des blocs latents définit une loi pour chaque croisement de classe d'objets et de classe de variables, et les observations sont supposées indépendantes conditionnellement au choix de ces classes. Toutefois, il est impossible de factoriser la loi jointe des labels empêchant le calcul de la logvraisemblance et l'utilisation de l'algorithme EM. Plusieurs méthodes et critères existent pour retrouver ces partitions, certains fréquentistes, d'autres bayésiens, certains stochastiques, d'autres non. Dans cette thèse, nous avons d'abord proposé des conditions suffisantes pour obtenir l'identifiabilité. Dans un second temps, nous avons étudié deux algorithmes proposés pour contourner le problème de l'algorithme EM : VEM de Govaert et Nadif (2008) et SEM-Gibbs de Keribin, Celeux et Govaert (2010). En particulier, nous avons analysé la combinaison des deux et mis en évidence des raisons pour lesquelles les algorithmes dégénèrent (terme utilisé pour dire qu'ils renvoient des classes vides). En choisissant des lois a priori judicieuses, nous avons ensuite proposé une adaptation bayésienne permettant de limiter ce phénomène. Nous avons notamment utilisé un échantillonneur de Gibbs dont nous proposons un critère d'arrêt basé sur la statistique de Brooks-Gelman (1998). Nous avons également proposé une adaptation de l'algorithme Largest Gaps (Channarond et al. (2012)). En reprenant leurs démonstrations, nous avons démontré que les estimateurs des labels et des paramètres obtenus sont consistants lorsque le nombre de lignes et de colonnes tendent vers l'infini. De plus, nous avons proposé une méthode pour sélectionner le nombre de classes en ligne et en colonne dont l'estimation est également consistante à condition que le nombre de ligne et de colonne soit très grand. Pour estimer le nombre de classes, nous avons étudié le critère ICL (Integrated Completed Likelihood) dont nous avons proposé une forme exacte. Après avoir étudié l'approximation asymptotique, nous avons proposé un critère BIC (Bayesian Information Criterion) puis nous conjecturons que les deux critères sélectionnent les mêmes résultats et que ces estimations seraient consistantes ; conjecture appuyée par des résultats théoriques et empiriques. Enfin, nous avons comparé les différentes combinaisons et proposé une méthodologie pour faire une analyse croisée de données. / Classification aims at sharing data sets in homogeneous subsets; the observations in a class are more similar than the observations of other classes. The problem is compounded when the statistician wants to obtain a cross classification on the individuals and the variables. The latent block model uses a law for each crossing object class and class variables, and observations are assumed to be independent conditionally on the choice of these classes. However, factorizing the joint distribution of the labels is impossible, obstructing the calculation of the log-likelihood and the using of the EM algorithm. Several methods and criteria exist to find these partitions, some frequentist ones, some bayesian ones, some stochastic ones... In this thesis, we first proposed sufficient conditions to obtain the identifiability of the model. In a second step, we studied two proposed algorithms to counteract the problem of the EM algorithm: the VEM algorithm (Govaert and Nadif (2008)) and the SEM-Gibbs algorithm (Keribin, Celeux and Govaert (2010)). In particular, we analyzed the combination of both and highlighted why the algorithms degenerate (term used to say that it returns empty classes). By choosing priors wise, we then proposed a Bayesian adaptation to limit this phenomenon. In particular, we used a Gibbs sampler and we proposed a stopping criterion based on the statistics of Brooks-Gelman (1998). We also proposed an adaptation of the Largest Gaps algorithm (Channarond et al. (2012)). By taking their demonstrations, we have shown that the labels and parameters estimators obtained are consistent when the number of rows and columns tend to infinity. Furthermore, we proposed a method to select the number of classes in row and column, the estimation provided is also consistent when the number of row and column is very large. To estimate the number of classes, we studied the ICL criterion (Integrated Completed Likelihood) whose we proposed an exact shape. After studying the asymptotic approximation, we proposed a BIC criterion (Bayesian Information Criterion) and we conjecture that the two criteria select the same results and these estimates are consistent; conjecture supported by theoretical and empirical results. Finally, we compared the different combinations and proposed a methodology for co-clustering.

La thèse a pour but de développer des algorithmes robustes de poursuite de phase multifréquence en environnement dégradé. L’objectif est d’élaborer de nouvelles structures pouvant opérer à des niveaux de rapport signal à bruit inférieurs aux limites des algorithmes actuellement implémentés dans des récepteurs grand public. Les problèmes de robustesse des algorithmes d’estimation de phase étant en grande partie causés par le phénomène de sauts de cycle, les différents axes de recherche se sont focalisés sur des nouvelles approches de développement de phase au sein des structures de poursuite. Pour ce faire, deux approches ont été étudiées et testées. Dans un premier temps, deux structures de poursuite monofréquence basées sur une DPLL conventionnelle ont été développées. Ces structures disposent d’un système externe de développement de phase visant à prédire et pré-compenser la sortie du discriminateur grâce à l’analyse des sorties du discriminateur ou des sorties du filtre de boucle. La réduction de la dynamique à estimer va alors permettre de réduire l’apparition des sauts de cycle se produisant au niveau du discriminateur. Par la suite, ce système de développement de phase a été adapté à la poursuite de phase multifréquence. Grâce à l’exploitation de la diversité en fréquence offerte par les signaux de navigation (i.e., de la proportionnalité des fréquences Doppler), il a été possible de mettre en place une étape de fusion de données qui a permis d’améliorer la précision de la prédiction de la sortie du discriminateur et donc d’améliorer la robustesse de la structure. Dans un second temps, les travaux de recherche se son taxés sur une nouvelle approche de poursuite de phase et de correction du phénomène de sauts de cycle basée sur une technique de filtrage Bayésien variationnel. Toujours en exploitant la diversité en fréquence des signaux de navigation, cette méthode suppose un modèle de dynamique de phase Markovien qui va imposer une certaine continuité de l’estimation et va permettre de fournir une estimation de phase développée. / This thesis aims at introducing multifrequency phase tracking algorithms operating in low C/N0environment. The objective is to develop new structures whose tracking limits are lower than thatof current algorithms used in mass market receivers. Phase tracking suffers from a lack of robustnessdue to the cycle slip phenomenon. Works have thus been focused on elaborating new phaseunwrapping systems. To do so, two different tracking approaches were studied. First, we have developed new monofrequency tracking loops based on a conventional DPLL. These structures aimat predicting the discriminator output by analyzing, thanks to a polynomial model, the last outputsamples of either the discriminator or the loop filter. Once the discriminator output is predicted,the estimated value is pre-compensated so that the phase dynamics to be tracked is reduced aswell as the cycle slip rate. Then, the unwrapping structure analyzing the loop filter outputs hasbeen extended to multifrequency signals. Using a data fusion step, the new multifrequency structuretakes advantage of the frequency diversity of a GNSS signal (i.e., proportionality of Dopplerfrequencies) to improve the tracking performances. Secondly, studies have been focused on developing a new multifrequency tracking algorithm using variational Bayesian filtering technique.This tracking method, which also uses the GNSS frequency diversity, assumes a Markovian phasedynamics that enforces the smoothness of the phase estimation and unwraps it.