Ce travail de thèse porte sur l'obtention de bornes de généralisation pour des échantillons statistiques à valeur dans des espaces de Hilbert définis par des noyaux reproduisants. L'approche consiste à obtenir des bornes non asymptotiques indépendantes de la dimension dans des espaces de dimension finie, en utilisant des inégalités PAC-Bayesiennes liées à une perturbation Gaussienne du paramètre et à les étendre ensuite aux espaces de Hilbert séparables. On se pose dans un premier temps la question de l'estimation de l'opérateur de Gram à partir d'un échantillon i. i. d. par un estimateur robuste et on propose des bornes uniformes, sous des hypothèses faibles de moments. Ces résultats permettent de caractériser l'analyse en composantes principales indépendamment de la dimension et d'en proposer des variantes robustes. On propose ensuite un nouvel algorithme de clustering spectral. Au lieu de ne garder que la projection sur les premiers vecteurs propres, on calcule une itérée du Laplacian normalisé. Cette itération, justifiée par l'analyse du clustering en termes de chaînes de Markov, opère comme une version régularisée de la projection sur les premiers vecteurs propres et permet d'obtenir un algorithme dans lequel le nombre de clusters est déterminé automatiquement. On présente des bornes non asymptotiques concernant la convergence de cet algorithme, lorsque les points à classer forment un échantillon i. i. d. d'une loi à support compact dans un espace de Hilbert. Ces bornes sont déduites des bornes obtenues pour l'estimation d'un opérateur de Gram dans un espace de Hilbert. On termine par un aperçu de l'intérêt du clustering spectral dans le cadre de l'analyse d'images. / This thesis focuses on obtaining generalization bounds for random samples in reproducing kernel Hilbert spaces. The approach consists in first obtaining non-asymptotic dimension-free bounds in finite-dimensional spaces using some PAC-Bayesian inequalities related to Gaussian perturbations and then in generalizing the results in a separable Hilbert space. We first investigate the question of estimating the Gram operator by a robust estimator from an i. i. d. sample and we present uniform bounds that hold under weak moment assumptions. These results allow us to qualify principal component analysis independently of the dimension of the ambient space and to propose stable versions of it. In the last part of the thesis we present a new algorithm for spectral clustering. It consists in replacing the projection on the eigenvectors associated with the largest eigenvalues of the Laplacian matrix by a power of the normalized Laplacian. This iteration, justified by the analysis of clustering in terms of Markov chains, performs a smooth truncation. We prove nonasymptotic bounds for the convergence of our spectral clustering algorithm applied to a random sample of points in a Hilbert space that are deduced from the bounds for the Gram operator in a Hilbert space. Experiments are done in the context of image analysis.

Beaucoup de résultats sur l’estimation d’une matrice d’échelle en analyse multidimensionnelle sont obtenus sous l’hypothèse de normalité (condition sous laquelle il s’agit de la matrice de covariance). Or il s’avère que, dans des domaines tels que la gestion de portefeuille en finance, cette hypothèse n’est pas très appropriée. Dans ce cas, la famille des distributions à symétrie elliptique, qui contient la distribution gaussienne, est une alternative intéressante. Nous considérons dans cette thèse le problème d’estimation de la matrice d’échelle Σ du modèle additif Yp_m = M + E, d’un point de vue de la théorie de la décision. Ici, p représente le nombre de variables, m le nombre d’observations, M une matrice de paramètres inconnus de rang q < p et E un bruit aléatoire de distribution à symétrie elliptique, avec une matrice de covariance proportionnelle à Im x Σ. Ce problème d’estimation est abordé sous la représentation canonique de ce modèle où la matrice d’observation Y est décomposée en deux matrices, à savoir, Zq x p qui résume l’information contenue dans M et une matrice Un x p, où n = m - q, qui résume l’information suffisante pour l’estimation de Σ. Comme les estimateurs naturels de la forme Σa = a S (où S = UT U et a est une constante positive) ne sont pas de bons estimateurs lorsque le nombre de variables p et le rapport p=n sont grands, nous proposons des estimateurs alternatifs de la forme ^Σa;G = a(S + S S+G(Z; S)) où S+ est l’inverse de Moore-Penrose de S (qui coïncide avec l’inverse S-1 lorsque S est inversible). Nous fournissons des conditions sur la matrice de correction SS+G(Z; S) telles que ^Σa;G améliore^Σa sous le coût quadratique L(Σ; ^Σ) = tr(^ΣΣ‾1 - Ip)² et sous une modification de ce dernier, à savoir le coût basé sur les données LS (Σ; ^Σ) = tr(S+Σ(^ΣΣ‾1 - Ip)²). Nous adoptons une approche unifiée des deux cas où S est inversible et S est non inversible. À cette fin, une nouvelle identité de type Stein-Haff et un nouveau calcul sur la décomposition en valeurs propres de S sont développés. Notre théorie est illustrée par une grande classe d’estimateurs orthogonalement invariants et par un ensemble de simulations. / Numerous results on the estimation of a scale matrix in multivariate analysis are obtained under Gaussian assumption (condition under which it is the covariance matrix). However in such areas as Portfolio management in finance, this assumption is not well adapted. Thus, the family of elliptical symmetric distribution, which contains the Gaussian distribution, is an interesting alternative. In this thesis, we consider the problem of estimating the scale matrix _ of the additif model Yp_m = M + E, under theoretical decision point of view. Here, p is the number of variables, m is the number of observations, M is a matrix of unknown parameters with rank q < p and E is a random noise, whose distribution is elliptically symmetric with covariance matrix proportional to Im x Σ. It is more convenient to deal with the canonical forme of this model where Y is decomposed in two matrices, namely, Zq_p which summarizes the information contained in M, and Un_p, where n = m - q which summarizes the information sufficient to estimate Σ. As the natural estimators of the form ^Σ a = a S (where S = UT U and a is a positive constant) perform poorly when the dimension of variables p and the ratio p=n are large, we propose estimators of the form ^Σa;G = a(S + S S+G(Z; S)) where S+ is the Moore-Penrose inverse of S (which coincides with S-1 when S is invertible). We provide conditions on the correction matrix SS+G(Z; S) such that ^Σa;G improves over ^Σa under the quadratic loss L(Σ; ^Σ) = tr(^ΣΣ‾1 - Ip)² and under the data based loss LS (Σ; ^Σ) = tr(S+Σ(^ΣΣ‾1 - Ip)²).. We adopt a unified approach of the two cases where S is invertible and S is non-invertible. To this end, a new Stein-Haff type identity and calculus on eigenstructure for S are developed. Our theory is illustrated with the large class of orthogonally invariant estimators and with simulations.

Une des finalités du traitement d’antenne est la détection et la localisation de cibles en milieu bruité. Dans la plupart des cas pratiques, comme par exemple le RADAR ou le SONAR actif, il faut estimer dans un premier temps les propriétés statistiques du bruit, et plus précisément sa matrice de covariance ; on dispose à cette fin de données secondaires supposées identiquement distribuées. Dans ce contexte, les hypothèses suivantes sont généralement formulées : bruit gaussien, données secondaires ne contenant que du bruit, et bien sûr matériels fonctionnant parfaitement. Il est toutefois connu aujourd’hui que le bruit en RADAR est de nature impulsive et que l’hypothèse Gaussienne est parfois mal adaptée. C’est pourquoi, depuis quelques années, le bruit et en particulier le fouillis de sol est modélisé par des processus elliptiques, et principalement des Spherically Invariant Random Vectors (SIRV). Dans ce nouveau cadre, la Sample Covariance Matrix (SCM) estimant classiquement la matrice de covariance du bruit entraîne des pertes de performances très importantes des détecteurs / estimateurs. Dans ce contexte non-gaussien, d’autres estimateurs de la matrice de covariance mieux adaptés à cette statistique du bruit ont été développés : la Matrice du Point Fixe (MPF) et les M-estimateurs.Parallèlement, dans un cadre où le bruit se décompose sous la forme d’une somme d’un fouillis rang faible et d’un bruit blanc, la matrice de covariance totale est structurée sous la forme rang faible plus identité. Cette information peut être utilisée dans le processus d'estimation afin de réduire le nombre de données nécessaires. De plus, il aussi est possible d'utiliser le projecteur orthogonal au sous espace fouillis à la place de la matrice de covariance ce qui nécessite moins de données secondaires et d’être aussi plus robuste aux données aberrantes. On calcule classiquement ce projecteur à partir d'un estimateur de la matrice de covariance. Néanmoins l'état de l'art ne présente pas d'estimateurs à la fois être robustes aux distributions hétérogènes, et rendant compte de la structure rang faible des données. C'est pourquoi ces travaux se focalisent sur le développement de nouveaux estimateurs (de covariance et de sous espace), directement adaptés au contexte considéré. Les contributions de cette thèse s'orientent donc autour de trois axes :- Nous présenterons tout d'abord un modèle statistique précis : celui de sources hétérogènes ayant une covariance rang faible noyées dans un bruit blanc gaussien. Ce modèle et est, par exemple, fortement justifié pour des applications de type radar. Il à cependant peu été étudié pour la problématique d'estimation de matrice de covariance. Nous dériverons donc l'expression du maximum de vraisemblance de la matrice de covariance pour ce contexte. Cette expression n'étant pas une forme close, nous développerons différents algorithmes pour tenter de l'atteindre efficacement.- Nous développons de nouveaux estimateurs directs de projecteur sur le sous espace fouillis, ne nécessitant pas un estimé de la matrice de covariance intermédiaire, adaptés au contexte considéré.- Nous étudierons les performances des estimateurs proposés et de l'état de l'art sur une application de Space Time Adaptative Processing (STAP) pour radar aéroporté, au travers de simulations et de données réelles. / One purpose of array processing is the detection and location of a target in a noisy environment. In most cases (as RADAR or active SONAR), statistical properties of the noise, especially its covariance matrix, have to be estimated using i.i.d. samples. Within this context, several hypotheses are usually made: Gaussian distribution, training data containing only noise, perfect hardware. Nevertheless, it is well known that a Gaussian distribution doesn’t provide a good empirical fit to RADAR clutter data. That’s why noise is now modeled by elliptical process, mainly Spherically Invariant Random Vectors (SIRV). In this new context, the use of the SCM (Sample Covariance Matrix), a classical estimate of the covariance matrix, leads to a loss of performances of detectors/estimators. More efficient estimators have been developed, such as the Fixed Point Estimator and M-estimators.If the noise is modeled as a low-rank clutter plus white Gaussian noise, the total covariance matrix is structured as low rank plus identity. This information can be used in the estimation process to reduce the number of samples required to reach acceptable performance. Moreover, it is possible to estimate the basis vectors of the clutter-plus-noise orthogonal subspace rather than the total covariance matrix of the clutter, which requires less data and is more robust to outliers. The orthogonal projection to the clutter plus noise subspace is usually calculated from an estimatd of the covariance matrix. Nevertheless, the state of art does not provide estimators that are both robust to various distributions and low rank structured.In this Thesis, we therefore develop new estimators that are fitting the considered context, to fill this gap. The contributions are following three axes :- We present a precise statistical model : low rank heterogeneous sources embedded in a white Gaussian noise.We express the maximum likelihood estimator for this context.Since this estimator has no closed form, we develop several algorithms to reach it effitiently.- For the considered context, we develop direct clutter subspace estimators that are not requiring an intermediate Covariance Matrix estimate.- We study the performances of the proposed methods on a Space Time Adaptive Processing for airborne radar application. Tests are performed on both synthetic and real data.

This thesis addresses a number of problems all related to parameter estimation in sensor array processing. The unifying theme is that some of these parameters are known before the measurements are acquired. We thus study how to improve the estimation of the unknown parameters by incorporating the knowledge of the known parameters; exploiting this knowledge successfully has the potential to dramatically improve the accuracy of the estimates. For covariance matrix estimation, we exploit that the true covariance matrix is Kronecker and Toeplitz structured. We then devise a method to ascertain that the estimates possess this structure. Additionally, we can show that our proposed estimator has better performance than the state-of-art when the number of samples is low, and that it is also efficient in the sense that the estimates have Cram\'er-Rao lower Bound (CRB) equivalent variance. In the direction of arrival (DOA) scenario, there are different types of prior information; first, we study the case when the location of some of the emitters in the scene is known. We then turn to cases with additional prior information, i.e.~when it is known that some (or all) of the source signals are uncorrelated. As it turns out, knowledge of some DOA combined with this latter form of prior knowledge is especially beneficial, giving estimators that are dramatically more accurate than the state-of-art. We also derive the corresponding CRBs, and show that under quite mild assumptions, the estimators are efficient. Finally, we also investigate the frequency estimation scenario, where the data is a one-dimensional temporal sequence which we model as a spatial multi-sensor response. The line-frequency estimation problem is studied when some of the frequencies are known; through experimental data we show that our approach can be beneficial. The second frequency estimation paper explores the analysis of pulse spin-locking data sequences, which are encountered in nuclear resonance experiments. By introducing a novel modeling technique for such data, we develop a method for estimating the interesting parameters of the model. The technique is significantly faster than previously available methods, and provides accurate estimation results. / Denna doktorsavhandling behandlar parameterestimeringsproblem inom flerkanals-signalbehandling. Den gemensamma förutsättningen för dessa problem är att det finns information om de sökta parametrarna redan innan data analyseras; tanken är att på ett så finurligt sätt som möjligt använda denna kunskap för att förbättra skattningarna av de okända parametrarna. I en uppsats studeras kovariansmatrisskattning när det är känt att den sanna kovariansmatrisen har Kronecker- och Toeplitz-struktur. Baserat på denna kunskap utvecklar vi en metod som säkerställer att även skattningarna har denna struktur, och vi kan visa att den föreslagna skattaren har bättre prestanda än existerande metoder. Vi kan också visa att skattarens varians når Cram\'er-Rao-gränsen (CRB). Vi studerar vidare olika sorters förhandskunskap i riktningsbestämningsscenariot: först i det fall då riktningarna till ett antal av sändarna är kända. Sedan undersöker vi fallet då vi även vet något om kovariansen mellan de mottagna signalerna, nämligen att vissa (eller alla) signaler är okorrelerade. Det visar sig att just kombinationen av förkunskap om både korrelation och riktning är speciellt betydelsefull, och genom att utnyttja denna kunskap på rätt sätt kan vi skapa skattare som är mycket noggrannare än tidigare möjligt. Vi härleder även CRB för fall med denna förhandskunskap, och vi kan visa att de föreslagna skattarna är effektiva. Slutligen behandlar vi även frekvensskattning. I detta problem är data en en-dimensionell temporal sekvens som vi modellerar som en spatiell fler-kanalssignal. Fördelen med denna modelleringsstrategi är att vi kan använda liknande metoder i estimatorerna som vid sensor-signalbehandlingsproblemen. Vi utnyttjar återigen förhandskunskap om källsignalerna: i ett av bidragen är antagandet att vissa frekvenser är kända, och vi modifierar en existerande metod för att ta hänsyn till denna kunskap. Genom att tillämpa den föreslagna metoden på experimentell data visar vi metodens användbarhet. Det andra bidraget inom detta område studerar data som erhålls från exempelvis experiment inom kärnmagnetisk resonans. Vi introducerar en ny modelleringsmetod för sådan data och utvecklar en algoritm för att skatta de önskade parametrarna i denna modell. Vår algoritm är betydligt snabbare än existerande metoder, och skattningarna är tillräckligt noggranna för typiska tillämpningar. / <p>QC 20131115</p>

Cette thèse s’inscrit dans le contexte de l’analyse et de la classification de signaux électroencéphalogrammes (EEG) par des méthodes d’analyse discriminante. Ces signaux multi-capteurs qui sont, par nature, très fortement corrélés spatialement et temporellement sont considérés dans le plan temps-fréquence. En particulier, nous nous intéressons à des signaux de type potentiels évoqués qui sont bien représentés dans l’espace des ondelettes. Par la suite, nous considérons donc les signaux représentés par des coefficients multi-échelles et qui ont une structure matricielle électrodes × coefficients. Les signaux EEG sont considérés comme un mélange entre l’activité d’intérêt que l’on souhaite extraire et l’activité spontanée (ou "bruit de fond"), qui est largement prépondérante. La problématique principale est ici de distinguer des signaux issus de différentes conditions expérimentales (classes). Dans le cas binaire, nous nous focalisons sur l’approche probabiliste de l’analyse discriminante et des modèles de mélange gaussien sont considérés, décrivant dans chaque classe les signaux en termes de composantes fixes (moyenne) et aléatoires. Cette dernière, caractérisée par sa matrice de covariance, permet de modéliser différentes sources de variabilité. Essentielle à la mise en oeuvre de l’analyse discriminante, l’estimation de cette matrice (et de son inverse) peut être dégradée dans le cas de grandes dimensions et/ou de faibles échantillons d’apprentissage, cadre applicatif de cette thèse. Nous nous intéressons aux alternatives qui se basent sur la définition de modèle(s) de covariance(s) particulier(s) et qui permettent de réduire le nombre de paramètres à estimer. / The present thesis finds itself within the framework of analyzing and classifying electroencephalogram signals (EEG) using discriminant analysis. Those multi-sensor signals which are, by nature, highly correlated spatially and temporally are considered, in this work, in the timefrequency domain. In particular, we focus on low-frequency evoked-related potential-type signals (ERPs) that are well described in the wavelet domain. Thereafter, we will consider signals represented by multi-scale coefficients and that have a matrix structure electrodes × coefficients. Moreover, EEG signals are seen as a mixture between the signal of interest that we want to extract and spontaneous activity (also called "background noise") which is overriding. The main problematic is here to distinguish signals from different experimental conditions (class). In the binary case, we focus on the probabilistic approach of the discriminant analysis and Gaussian mixtures are used, describing in each class the signals in terms of fixed (mean) and random components. The latter, characterized by its covariance matrix, allow to model different variability sources. The estimation of this matrix (and of its inverse) is essential for the implementation of the discriminant analysis and can be deteriorated by high-dimensional data and/or by small learning samples, which is the application framework of this thesis. We are interested in alternatives that are based on specific covariance model(s) and that allow to decrease the number of parameters to estimate.

<p>Рад је окренут ка анализи мел-фреквенцијских кепстралних коефицијената као обележја говорника која се користе при аутоматском препознавању говорника. Испитан је утицај промене облика чујних критичних опсега као и модификације енергије у њима на тачност препознавања говорника. Такође испитане су и неке трансформације ради умањења временске променљивости модела истих говорника.</p> / <p>Rad je okrenut ka analizi mel-frekvencijskih kepstralnih koeficijenata kao obeležja govornika koja se koriste pri automatskom prepoznavanju govornika. Ispitan je uticaj promene oblika čujnih kritičnih opsega kao i modifikacije energije u njima na tačnost prepoznavanja govornika. Takođe ispitane su i neke transformacije radi umanjenja vremenske promenljivosti modela istih govornika.</p> / <p>The work is oriented towards the analysis of mel-frequency cepstral<br />coefficients as speaker features used in automatic speaker recognition. The<br />influence of the shape of auditory critical bands as well as the proposed<br />energy modification inside them is tested. Also, some transformations for<br />reducing of time variability of models of the same speakers are proposed.</p>

This biomedical engineering thesis explores the opportunities and challenges of 2D+t contrast echocardiography for left ventricle functional analysis, both clinically and within a computer vision atlas-based deformable template model framework. A database was created for the experiments in this thesis, with 21 studies of contrast Dobutamine Stress Echo, in all 4 principal planes. The database includes clinical variables, human expert hand-traced myocardial contours and visual scoring. First the problem is studied from a clinical perspective. Quantification of endocardial global and local function using standard measures shows expected values and agreement with human expert visual scoring, but the results are less reliable for myocardial thickening. Next, the problem of segmenting the endocardium with a computer is posed in a standard landmark and atlas-based deformable template model framework. The underlying assumption is that these models can emulate human experts in terms of integrating previous knowledge about the anatomy and physiology with three sources of information from the image: texture, geometry and kinetics. Probabilistic atlases of contrast echocardiography are computed, while noting from histograms at selected anatomical locations that modelling texture with just mean intensity values may be too naive. Intensity analysis together with the clinical results above suggest that lack of external boundary definition may preclude this imaging technique for appropriate measuring of myocardial thickening, while endocardial boundary definition is appropriate for evaluation of wall motion. Geometry is presented in a Principal Component Analysis (PCA) context, highlighting issues about Gaussianity, the correlation and covariance matrices with respect to physiology, and analysing different measures of dimensionality. A popular extension of deformable models ---Active Appearance Models (AAMs)--- is then studied in depth. Contrary to common wisdom, it is contended that using a PCA texture space instead of a fixed atlas is detrimental to segmentation, and that PCA models are not convenient for texture modelling. To integrate kinetics, a novel spatio-temporal model of cardiac contours is proposed. The new explicit model does not require frame interpolation, and it is compared to previous implicit models in terms of approximation error when the shape vector changes from frame to frame or remains constant throughout the cardiac cycle. Finally, the 2D+t atlas-based deformable model segmentation problem is formulated and solved with a gradient descent approach. Experiments using the similarity transformation suggest that segmentation of the whole cardiac volume outperforms segmentation of individual frames. A relatively new approach ---the inverse compositional algorithm--- is shown to decrease running times of the classic Lucas-Kanade algorithm by a factor of 20 to 25, to values that are within real-time processing reach.