abstract: The ability to identify unoccupied resources in the radio spectrum is a key capability for opportunistic users in a cognitive radio environment. This paper draws upon and extends geometrically based ideas in statistical signal processing to develop estimators for the rank and the occupied subspace in a multi-user environment from multiple temporal samples of the signal received at a single antenna. These estimators enable identification of resources, such as the orthogonal complement of the occupied subspace, that may be exploitable by an opportunistic user. This concept is supported by simulations showing the estimation of the number of users in a simple CDMA system using a maximum a posteriori (MAP) estimate for the rank. It was found that with suitable parameters, such as high SNR, sufficient number of time epochs and codes of appropriate length, the number of users could be correctly estimated using the MAP estimator even when the noise variance is unknown. Additionally, the process of identifying the maximum likelihood estimate of the orthogonal projector onto the unoccupied subspace is discussed. / Dissertation/Thesis / Masters Thesis Electrical Engineering 2014

Le développement de méthodes de décomposition de tableaux multi-dimensionnels suscite toujours autant d'attention, notamment d'un point de vue applicatif. La plupart des algorithmes, de décompositions tensorielles, existants requièrent une estimation du rang du tenseur et sont sensibles à une surestimation de ce dernier. Toutefois, une telle estimation peut être difficile par exemple pour des rapports signal à bruit faibles. D'un autre côté, estimer simultanément le rang et les matrices de facteurs du tenseur ou du tenseur cœur n'est pas tâche facile tant les problèmes de minimisation de rang sont généralement NP-difficiles. Plusieurs travaux existants proposent d'utiliser la norme nucléaire afin de servir d'enveloppe convexe de la fonction de rang. Cependant, la minimisation de la norme nucléaire engendre généralement un coût de calcul prohibitif pour l'analyse de données de grande taille. Dans cette thèse, nous nous sommes donc intéressés à l'approximation d'un tenseur bruité par un tenseur de rang faible. Plus précisément, nous avons étudié trois modèles de décomposition tensorielle, le modèle CPD (Canonical Polyadic Decomposition), le modèle BTD (Block Term Decomposition) et le modèle MTD (Multilinear Tensor Decomposition). Pour chacun de ces modèles, nous avons proposé une nouvelle méthode d'estimation de rang utilisant une métrique moins coûteuse exploitant la parcimonie de groupe. Ces méthodes de décomposition comportent toutes deux étapes : une étape d'estimation de rang, et une étape d'estimation des matrices de facteurs exploitant le rang estimé. Des simulations sur données simulées et sur données réelles montrent que nos méthodes présentent toutes une plus grande robustesse à la présence de bruit que les approches classiques. / Last decades, tensor decompositions have gained in popularity in several application domains. Most of the existing tensor decomposition methods require an estimating of the tensor rank in a preprocessing step to guarantee an outstanding decomposition results. Unfortunately, learning the exact rank of the tensor can be difficult in some particular cases, such as for low signal to noise ratio values. The objective of this thesis is to compute the best low-rank tensor approximation by a joint estimation of the rank and the loading matrices from the noisy tensor. Based on the low-rank property and an over estimation of the loading matrices or the core tensor, this joint estimation problem is solved by promoting group sparsity of over-estimated loading matrices and/or the core tensor. More particularly, three new methods are proposed to achieve efficient low rank estimation for three different tensors decomposition models, namely Canonical Polyadic Decomposition (CPD), Block Term Decomposition (BTD) and Multilinear Tensor Decomposition (MTD). All the proposed methods consist of two steps: the first step is designed to estimate the rank, and the second step uses the estimated rank to compute accurately the loading matrices. Numerical simulations with noisy tensor and results on real data the show effectiveness of the proposed methods compared to the state-of-the-art methods.

Random matrix theory is now a big subject with applications in many disciplines of science, engineering and finance. This talk is a survey specifically oriented towards the needs and interests of a computationally inclined audience. We include the important mathematics (free probability) that permit the characterization of a large class of random matrices. We discuss how computational software is transforming this theory into practice by highlighting its use in the context of a stochastic eigen-inference application. / Singapore-MIT Alliance (SMA)

Dans la modélisation statistique, nous sommes le plus souvent amené à supposer que le phénomène étudié est généré par une structure pouvant s’ajuster aux données observées. Cette structure fait apparaître une partie principale qui représente le mieux possible le phénomène étudié et qui devrait expliquer les données et une partie supposée négligeable appelée erreur ou innovation. Cette structure complexe est communément appelée un modèle, dont la forme peut être plus ou moins complexe. Afin de simplifier la structure, il est souvent supposé qu’elle repose sur un nombre fini de valeurs, appelées paramètres. Basé sur les données, ces paramètres sont estimés avec ce que l’on appelle des estimateurs. La qualité du modèle pour les données à notre disposition est également fonction des estimateurs et de leurs propriétés, par exemple, est-ce que les estimateurs sont raisonnablement proches des valeurs idéales, c’est-à-dire les vraies valeurs. Des questions d’importance portent sur la qualité de l’ajustement d’un modèle aux données, ce qui se fait par l’étude des propriétés probabilistes et statistiques du terme d’erreur. Aussi, l’étude des relations ou l’absence de ces dernières entre les phénomènes sous des hypothèses complexes sont aussi d’intérêt. Des approches possibles pour cerner ce genre de questions consistent dans l’utilisation des tests portemanteaux, dits également tests de diagnostic. La thèse est présentée sous forme de trois projets. Le premier projet est rédigé en langue anglaise. Il s’agit en fait d’un article actuellement soumis dans une revue avec comité de lecture. Dans ce projet, nous étudions le modèle vectoriel à erreurs multiplicatives (vMEM) pour lequel nous utilisons les propriétés des estimateurs des paramètres du modèle selon la méthode des moments généralisés (GMM) afin d’établir la distribution asymptotique des autocovariances résiduelles. Ceci nous permet de proposer des nouveaux tests diagnostiques pour ce type de modèle. Sous l’hypothèse nulle d’adéquation du modèle, nous montrons que la statistique usuelle de Hosking-Ljung-Box converge vers une somme pondérée de lois de khi-carré indépendantes à un degré de liberté. Un test généralisé de Hosking-Ljung-Box est aussi obtenu en comparant la densité spectrale des résidus de l’estimation et celle présumée sous l’hypothèse nulle. Un avantage des tests spectraux est qu’ils nécessitent des estimateurs qui convergent à la vitesse n−1/2 où n est la taille de l’échantillon, et leur utilisation n’est pas restreinte à une technique particulière, comme par exemple la méthode des moments généralisés. Dans le deuxième projet, nous établissons la distribution asymptotique sous l’hypothèse de faible dépendance des covariances croisées de deux processus stationnaires en covariance. La faible dépendance ici est définie en terme de l’effet limité d’une observation donnée sur les observations futures. Nous utilisons la notion de stabilité et le concept de contraction géométrique des moments. Ces conditions sont plus générales que celles de l’invariance des moments conditionnels d’ordre un à quatre utilisée jusque là par plusieurs auteurs. Un test statistique basé sur les covariances croisées et la matrice des variances et covariances de leur distribution asymptotique est alors proposé et sa distribution asymptotique établie. Dans l’implémentation du test, la matrice des variances et covariances des covariances croisées est estimée à l’aide d’une procédure autorégressive vectorielle robuste à l’autocorrélation et à l’hétéroscédasticité. Des simulations sont ensuite effectuées pour étudier les propriétés du test proposé. Dans le troisième projet, nous considérons un modèle périodique multivarié et cointégré. La présence de cointégration entraîne l’existence de combinaisons linéaires périodiquement stationnaires des composantes du processus étudié. Le nombre de ces combinaisons linéaires linéairement indépendantes est appelé rang de cointégration. Une méthode d’estimation en deux étapes est considérée. La première méthode est appelée estimation de plein rang. Dans cette approche, le rang de cointégration est ignoré. La seconde méthode est appelée estimation de rang réduit. Elle tient compte du rang de cointégration. Cette dernière est une approche non linéaire basée sur des itérations dont la valeur initiale est l’estimateur de plein rang. Les propriétés asymptotiques de ces estimateurs sont aussi établies. Afin de vérifier l’adéquation du modèle, des statistiques de test de type portemanteau sont considérées et leurs distributions asymptotiques sont étudiées. Des simulations sont par la suite présentées afin d’illustrer le comportement du test proposé. / In statistical modeling, we assume that the phenomenon of interest is generated by a model that can be fitted to the observed data. The part of the phenomenon not explained by the model is called error or innovation. There are two parts in the model. The main part is supposed to explain the observed data, while the unexplained part which is supposed to be negligible is also called error or innovation. In order to simplify the structures, the model are often assumed to rely on a finite set of parameters. The quality of a model depends also on the parameter estimators and their properties. For example, are the estimators relatively close to the true parameters ? Some questions also address the goodness-of-fit of the model to the observed data. This question is answered by studying the statistical and probabilistic properties of the innovations. On the other hand, it is also of interest to evaluate the presence or the absence of relationships between the observed data. Portmanteau or diagnostic type tests are useful to address such issue. The thesis is presented in the form of three projects. The first project is written in English as a scientific paper. It was recently submitted for publication. In that project, we study the class of vector multiplicative error models (vMEM). We use the properties of the Generalized Method of Moments to derive the asymptotic distribution of sample autocovariance function. This allows us to propose a new test statistic. Under the null hypothesis of adequacy, the asymptotic distributions of the popular Hosking-Ljung-Box (HLB) test statistics are found to converge in distribution to weighted sums of independent chi-squared random variables. A generalized HLB test statistic is motivated by comparing a vector spectral density estimator of the residuals with the spectral density calculated under the null hypothesis. In the second project, we derive the asymptotic distribution under weak dependence of cross covariances of covariance stationary processes. The weak dependence is defined in term of the limited effect of a given information on future observations. This recalls the notion of stability and geometric moment contraction. These conditions of weak dependence defined here are more general than the invariance of conditional moments used by many authors. A test statistic based on cross covariances is proposed and its asymptotic distribution is established. In the elaboration of the test statistics, the covariance matrix of the cross covariances is obtained from a vector autoregressive procedure robust to autocorrelation and heteroskedasticity. Simulations are also carried on to study the properties of the proposed test and also to compare it to existing tests. In the third project, we consider a cointegrated periodic model. Periodic models are present in the domain of meteorology, hydrology and economics. When modelling many processes, it can happen that the processes are just driven by a common trend. This situation leads to spurious regressions when the series are integrated but have some linear combinations that are stationary. This is called cointegration. The number of stationary linear combinations that are linearly independent is called cointegration rank. So, to model the real relationship between the processes, it is necessary to take into account the cointegration rank. In the presence of periodic time series, it is called periodic cointegration. It occurs when time series are periodically integrated but have some linear combinations that are periodically stationary. A two step estimation method is considered. The first step is the full rank estimation method that ignores the cointegration rank. It provides initial estimators to the second step estimation which is the reduced rank estimation. It is non linear and iterative. Asymptotic properties of the estimators are also established. In order to check for model adequacy, portmanteau type tests and their asymptotic distributions are also derived and their asymptotic distribution are studied. Simulation results are also presented to show the behaviour of the proposed test.