Frames have recently become popular in the area of applied mathematics known as digital signal processing. Frames offer a level of redundancy that bases do not provide. In a sub-area of signal processing known as data recovery, redundancy has become increasingly useful; therefore, so have frames. Just as orthonormal bases are desirable for numerical computations, Parseval frames provide similar properties as orthonormal bases while maintaining a desired level of redundancy. This dissertation will begin with a basic background on frames and will proceed to encapsulate my research as partial fulfillment of the requirements for the Ph.D. degree in Mathematics at Texas A&M University. More specifically, in this dissertation we investigate an apparently new concept we term causal equivalence of frames and techniques for transforming frames into Parseval frames in a way that generalizes the Classical Gram- Schmidt process for bases. Finally, we will compare and contrast these techniques.

I give an overview of the basic theory of Hilbert spaces necessary to understand the convergence of the Fourier series for square integrable functions. I state the necessary theorems and definitions to understand the formulations of the problem in a Hilbert space framework, and then I give some applications of the theory along the way.

Les défaut de la vision sont analysés et classés à partir des caractéristiques mathématiques du front d’onde de l’oeil considéré. Après avoir présenté la méthode actuelle basée sur la décomposition du front d’onde dans la base orthonormale de Zernike ainsi que certaines de ses limitations, on propose ici une nouvelle base de décomposition. Celle-ci repose sur l’utilisation del’espace des fronts d’onde polynomiaux de valuation supérieure ou égale à L + 1 (où L est un entier naturel) et permet de décomposer de manière unique un front d’onde polynomial en la somme d’un front d’onde polynomial de bas degré (inférieur ou égal à L) et un front d’onde polynomial de haute valuation (supérieure ou égal à L + 1). En choisissant L = 2, une nouvelle décomposition est obtenue, appelée D2V3, où le front d’onde polynomial de haut degré ne comporte pas de termes de degré radial inférieur ou égal à deux. Cette approche permet de dissocier parfaitement les aberrations optiques corrigibles ou non par le port de lunettes. Différents cas cliniques présentés dans la dernière section permettent de mettre en évidence l’intérêt de cette nouvelle base de décomposition. / The eye vision defaults are analyzed and classified by studyingthe corresponding eye wavefront. After presenting the orthogonal basis, called the Zernike basis, that is currently used for the medical diagnosis, a new decomposition basis is built. It is based on the use of the space of polynomials of valuation greater or equal to L+1 (for L a natural integer). It allows to uniquely decompose a polynomial wavefront into the sum of a polynomial of low degree (lesser or equal to L) and a polynomial of high valuation (greater or equal to L +1). By choosing L = 2, a new decomposition, called D2V3, is obtained where the polynomial wavefront of high degree does not include terms of radial degree lesser or equal to 2. In particular, it allows to quantify perfectly the aberrations that can be corrected by eyeglasses or not. Various clinical examples clearly show the interest of this new basis compared to a diagnosis based on the Zernike decomposition.

n the problem of time delay estimation (TDE), the desired source signals of interest are correlated and with a specific spectral distribution. In such cases, the convergence speed using the conventional approaches, viz., time domain adaptive constrained and unconstrained LMS TDE algorithms, becomes slowly and the performance of TDE will be degraded, dramatically. In fact, the convergence rate depends highly on the distribution of spectral density of the desired signal sources. Also, the performance of TDE is affected by the background noises, accordingly. To circumvent the problem described above, in this thesis, a transformed domain adaptive constrained filtering scheme, refers to the constrained adaptive DCT-LMS algorithm, for TDE is devised. We show that this new proposed constrained algorithm, with the so-called direct delay estimation formula, for non-integer TDE does perform better than the conventional time domain adaptive constrained and unconstrained LMS TDE algorithms and the unconstrained adaptive DCT-LMS TDE algorithm. Finally, to further reduce the spread of eigenvalue in the unconstrained adaptive DCT-LMS algorithm, the Gram-Schmidt orthogonalizer approach realizing by the adaptive Escalator is investigated. It indicates that bias of TDE will occur without using the constraint of weight vector. That is, it could not be used to alleviate the effect due to background noises.

No description available.

Color has been widely used in content-based image retrieval (CBIR) applications. In such applications the color properties of an image are usually characterized by the probability distribution of the colors in the image. A distance measure is then used to measure the (dis-)similarity between images based on the descriptions of their color distributions in order to quickly find relevant images. The development and investigation of statistical methods for robust representations of such distributions, the construction of distance measures between them and their applications in efficient retrieval, browsing, and structuring of very large image databases are the main contributions of the thesis. In particular we have addressed the following problems in CBIR. Firstly, different non-parametric density estimators are used to describe color information for CBIR applications. Kernel-based methods using nonorthogonal bases together with a Gram-Schmidt procedure and the application of the Fourier transform are introduced and compared to previously used histogram-based methods. Our experiments show that efficient use of kernel density estimators improves the retrieval performance of CBIR. The practical problem of how to choose an optimal smoothing parameter for such density estimators as well as the selection of the histogram bin-width for CBIR applications are also discussed. Distance measures between color distributions are then described in a differential geometry-based framework. This allows the incorporation of geometrical features of the underlying color space into the distance measure between the probability distributions. The general framework is illustrated with two examples: Normal distributions and linear representations of distributions. The linear representation of color distributions is then used to derive new compact descriptors for color-based image retrieval. These descriptors are based on the combination of two ideas: Incorporating information from the structure of the color space with information from images and application of projection methods in the space of color distribution and the space of differences between neighboring color distributions. In our experiments we used several image databases containing more than 1,300,000 images. The experiments show that the method developed in this thesis is very fast and that the retrieval performance chievedcompares favorably with existing methods. A CBIR system has been developed and is currently available at http://www.media.itn.liu.se/cse. We also describe color invariant descriptors that can be used to retrieve images of objects independent of geometrical factors and the illumination conditions under which these images were taken. Both statistics- and physics-based methods are proposed and examined. We investigated the interaction between light and material using different physical models and applied the theory of transformation groups to derive geometry color invariants. Using the proposed framework, we are able to construct all independent invariants for a given physical model. The dichromatic reflection model and the Kubelka-Munk model are used as examples for the framework. The proposed color invariant descriptors are then applied to both CBIR, color image segmentation, and color correction applications. In the last chapter of the thesis we describe an industrial application where different color correction methods are used to optimize the layout of a newspaper page. / <p>A search engine based, on the methodes discribed in this thesis, can be found at http://pub.ep.liu.se/cse/db/?. Note that the question mark must be included in the address.</p>

Le point de départ de cette thèse est un problème posé par le groupe électromagnétisme de EADS-CCR : comment résoudre plusieurs systèmes linéaires avec la même matrice mais différents seconds membres ? Pour l'application voulue, les matrices sont complexes, denses et de grande taille. Un problème standard comporte environ quelques millions d'inconnues. Comme de telles matrices ne peuvent être ni calculées, ni stockées dans un processus industriel, l'utilisation d'un produit matrice-vecteur approché est la seule alternative. En l'occurrence, le produit matrice-vecteur est effectué en utilisant la méthode multipôle rapide. Dans ce contexte, le but de cette thèse est d'adapter les méthodes itératives de type Krylov de telle sorte qu'elles traitent efficacement les nombreux seconds membres. Des travaux préliminaires avec un seul second membre ont montré que la méthode GMRES est particulièrement efficace et robuste pour cette application. En conséquence dans cette thèse nous abordons uniquement les variantes de GMRES. Les schémas d'orthogonalisation que nous avons implantés dans GMRES sont des variantes de l'algorithme de Gram-Schmidt. <br /><br />Dans une première partie, nous nous intéressons à l'influence des erreurs d'arrondi dans les algorithmes de Gram-Schmidt. Nos résultats répondent à des questions vieilles de vingt-cinq ans. Nous donnons l'explication théorique de ce qui était communément observé et accepté : <br /><br /> - l'algorithme de Gram-Schmidt modifié génère un ensemble de vecteurs bien conditionné ;<br /> - l'algorithme de Gram-Schmidt itéré deux fois fabrique un ensemble de vecteurs orthonormé.<br /><br />Ces deux propositions reposent sur l'hypothèse que la matrice de départ est "numériquement non singulière" en un sens qui est clairement défini. D'autre part, quand l'algorithme de Gram-Schmidt est itéré avec un critère de réorthogonalisation, nous proposons un nouveau critère. Nous montrons que l'algorithme obtenu est robuste alors que le critère communément utilisé est mis en défaut dans certains cas. Finalement, nous généralisons des résultats standards sur les normes en terme de valeurs singulières pour l'algorithme de Gram-Schmidt modifié. Ceci nous permet de dériver un schéma de réorthogonalisation a posteriori utilisant une matrice de rang faible. Ces résultats ont plusieurs applications directes. Nous en donnons des exemples avec les méthodes de Krylov pour résoudre des problèmes linéaires avec plusieurs seconds membres.<br /><br />Dans la deuxième partie, nous avons implémenté des variantes de la méthode GMRES pour les arithmétiques réelle et complexe, simple et double précisions. Cette implémentation convient pour des ordinateurs classiques, à mémoire partagée ou distribuée. Le code en résultant satisfait aux critères de qualité des librairies standards et son implémentation est largement détaillée. Pour des besoins de simplicité, flexibilité et efficacité, les solveurs utilisent un mécanisme de reverse communication pour les produits matrice-vecteur, les étapes de préconditionnement et les produits scalaires. Différents schémas d'orthogonalisation sont implémentés pour réduire le coût de calcul des produits scalaires, un point particulièrement important pour l'efficacité des méthodes de Krylov dans un environnement parallèle distribué. Le critère d'arrêt implémenté est basé sur l'erreur inverse normalisée. Les variantes disponibles sont GMRES-DR, seed-GMRES et block-GMRES. Ces codes s'ajoutent aux variantes déjà existantes (GMRES, flexible GMRES et SQMR). Un produit matrice-vecteur avec une décomposition LU est utilisé dans GMRES-DR de telle sorte que le stockage des approximations des vecteurs propres se fasse sur les premiers vecteurs de l'espace de Krylov. Un restart implicite et une étape de préconditionnement implicite ont été implémentés dans seed-GMRES. Nous supprimons ainsi un produit matrice-vecteur et une étape de préconditionnement par second membre et par cycle de GMRES. La version de block-GMRES permet à l'utilisateur de sélectionner différents modes de déflation. Pour terminer, des résultats reliant la norme du résidu de GMRES à la plus petite valeur singulière de l'espace construit par la méthode de Krylov ont été généralisés à la méthode block-GMRES.<br /><br />La troisième partie est consacrée à l'amélioration des techniques standards pour la résolution des systèmes linéaires dans le cadre des problèmes électromagnétiques. Après une présentation approfondie du code, nous étudions l'influence de la non-symétrie sur la convergence de l'algorithme SQMR. Nous étudions aussi le comportement de GMRES-DR sur nos problèmes. Ceci correspond à deux méthodes avec un seul second membre, le reste de cette partie concerne les cas comportant plusieurs seconds membres. Tout d'abord, nous examinons en détail les techniques qui permettent d'adapter les méthodes utilisées pour un second membre unique aux cas comportant plusieurs seconds membres. Par exemple, on peut améliorer la qualité du préconditionneur, avoir une stratégie de solution initiale, grouper les opérations de plusieurs résolutions ou encore paralléliser plusieurs résolutions. Dans le contexte du calcul de surface équivalente radar monostatique, nous avons montré que l'espace des seconds membres du problème continu était de dimension finie. La dimension donnée par notre théorie est proche de celle que nous observons en pratique. Cette propriété nous permet de réduire considérablement le nombre de systèmes linéaires à résoudre. Dans ce contexte, une version de la méthode block-GMRES est donnée. Ensuite, nous abordons certains problèmes spécifiques des méthodes seed-GMRES et block-GMRES pour lesquels nous proposons des solutions. Pour finir, des résultats plus prospectifs sont donnés. Plusieurs stratégies pour extraire et ajouter de l'information spectrale d'un cycle de GMRES à l'autre sont proposées et comparées. Puis nous utilisons le fait que la méthode multipôle rapide est un produit matrice-vecteur inexact dont la précision est réglable. Moins précis est le produit matrice-vecteur, plus rapide il est. Nous montrons comment tirer partie de cette propriété en utilisant un schéma relâché (méthode de Krylov inexacte) ou des itérations emboîtées (flexible GMRES). Enfin, le critère d'arrêt basé sur l'erreur inverse normalisée dans le cadre du calcul d'une surface équivalente radar est remis en question.

CoordenaÃÃo de AperfeiÃoamento de Pessoal de NÃvel Superior / Este trabalho apresenta estudos sobre sistemas de comunicaÃÃo cujos sinais utilizados para a transmissÃo das informaÃÃes sÃo nÃo-ortogonais, superpostos em frequÃncia, e com espaÃamento entre portadoras menor do que a taxa de sÃmbolo. As pesquisas estÃo direcionadas na obtenÃÃo de estruturas de transmissor e receptor Ãtimos e sub-Ãtimos, na modelagem e anÃlise matemÃtica dos sistemas incluindo o canal, em propostas de estratÃgias para detecÃÃo de sÃmbolo, e na avaliaÃÃo de desempenho. SÃo propostas sete estratÃgias de recepÃÃo de N sinais m-QAM nÃo-ortogonais atravÃs do canal AWGN. Dentre as estratÃgias de detecÃÃo duas sÃo Ãtimas e as outras cinco sÃo subÃtimas. As duas estruturas de receptores Ãtimos apresentados neste trabalho sÃo: o receptor de mÃxima verossimilhanÃa (ML) clÃssico e o receptor de mÃxima verossimilhanÃa com base na decomposiÃÃo de Gram-Schmidt. Os receptores sub-Ãtimos desenvolvidos neste trabalho sÃo de dois tipos: receptores com equalizaÃÃo linear e receptores com equalizaÃÃo nÃo-linear. O primeiro tipo de receptor à desenvolvido com base nos critÃrios de erro quadrÃtico mÃdio mÃnimo (MMSE) e o de forÃagem a zero (ZF). à apresentado o desenvolvimento analÃtico do projeto de cada uma das arquiteturas de receptores lineares, assim como à determinado o erro dos estimadores. Os receptores com equalizaÃÃo nÃo-linear sÃo baseados no cancelamento de interferÃncia sucessiva (SIC). Neste trabalho, à proposta uma modificaÃÃo no algoritmo do SIC original, resultando em uma nova arquitetura de equalizaÃÃo. O desempenho dos receptores propostos à avaliado em diferentes condiÃÃes de nÃmero de portadoras e de grau de superposiÃÃo espectral atravÃs de simulaÃÃo computacional. Por fim, sÃo apresentados as conlusÃes e as perspectivas futuras de pesquisa. / This work presents studies on communication systems, whose signals used for transmission of information are non-orthogonal, overlapping in frequency and carrier spacing less than the rate of symbols. The research is aimed to obtain structures of transmitter, optimal and sub-optimal receivers using modeling and mathematical analysis of systems including the channel. Furthermore, propose strategies for symbol detection and performance evaluation. Seven strategies of reception to N signals m-QAM non-orthogonal through the AWGN channel. Among the strategies of detection two are optimal and the others five are suboptimal. The two optimal receivers structures presented in this paper are: the classical receiver maximum likelihood (ML) receiver and maximum likelihood based on the Gram-Schmidt decomposition. The suboptimal receivers in this work are of two types: receivers with linear and nonlinear equalization. The first type of receiver is developed based on the criteria of minimum mean square error (MMSE) and the zero forcing (ZF). It is presented the development of analytical design of each linear receiver architectures, as well as determined the error of the estimators. The receivers with nonlinear equalization are based on successive interference cancellation (SIC). In this paper, we propose a modification to the original algorithm of SIC, resulting in a new architecture of equalization. The performance of the proposed receivers is evaluated under different number of carriers and the degree of spectral overlap using computer simulation. Finally, we present the conclusions of this work and future prospects of the research.

The primary objective of this dissertation is to revisit the CAPM and the Fama-French multi-factor models with a view to evaluate the validity of the probabilistic assumptions imposed (directly or indirectly) on the particular data used. By thoroughly testing the assumptions underlying these models, several departures are found and the original linear regression models are respecified. The respecification results in a family of heterogeneous Student's t models which are shown to account for all the statistical regularities in the data. This family of models provides an appropriate basis for revisiting the empirical adequacy of the CAPM and the Fama-French multi-factor models, as well as other models, such as alternative asset pricing models and risk evaluation models. Along the lines of providing a sound basis for reliable inference, the respecified models can serve as a coherent basis for selecting the relevant factors from the set of possible ones. The latter contributes to the enhancement of the substantive adequacy of the CAPM and the multi-factor models. / Ph. D. / The primary objective of this dissertation is to revisit the CAPM and the FamaFrench multi-factor models with a view to evaluate the validity of the probabilistic assumptions imposed (directly or indirectly) on the particular data used. By probing for potential departures from the Normality, Linearity, Homoskedasticity, Independence, and t-invariance assumptions, it is shown that the assumptions implicitly imposed on these empirical asset pricing models are inappropriate. In light of these results, the probabilistic assumptions underlying the CAPM and the Fama-French multi-factor models are replaced with the Studentís t, Linearity, Heteroskedasticity, Markov Dependence, and t-heterogeneity assumptions. The new probabilistic structure results in a family of heterogeneous Studentís t models which are shown to account for all the statistical regularities in the data. This family of models provides an appropriate basis for revisiting the empirical adequacy of the CAPM and the Fama-French multifactor models, as well as other models, such as alternative asset pricing models and risk evaluation models. Along the lines of providing a sound basis for reliable statistical inference results, the proposed models can serve as a coherent basis for selecting the potential sources of risk from a set of possible ones. The latter contributes to the enhancement of the substantive adequacy of the CAPM and the multi-factor models.

Les méthodes d'algèbres linéaire classiques, pour le calcul de valeurs et vecteurs propres d'une matrice, ou des approximations de rangs inférieurs (low-rank approximations) d'une solution, etc..., ne tiennent pas compte des structures de matrices. Ces dernières sont généralement détruites durant le procédé du calcul. Des méthodes alternatives préservant ces structures font l'objet d'un intérêt important par la communauté. Cette thèse constitue une contribution dans ce domaine. La décomposition SR peut être calculé via l'algorithme de Gram-Schmidt symplectique. Comme dans le cas classique, une perte d'orthogonalité peut se produire. Pour y remédier, nous avons proposé deux algorithmes RSGSi et RMSGSi qui consistent à ré-orthogonaliser deux fois les vecteurs à calculer. La perte de la J-orthogonalité s'est améliorée de manière très significative. L'étude directe de la propagation des erreurs d'arrondis dans les algorithmes de Gram-Schmidt symplectique est très difficile à effectuer. Nous avons réussi à contourner cette difficulté et donner des majorations pour la perte de la J-orthogonalité et de l'erreur de factorisation. Une autre façon de calculer la décomposition SR est basée sur les transformations de Householder symplectique. Un choix optimal a abouti à l'algorithme SROSH. Cependant, ce dernier peut être sujet à une instabilité numérique. Nous avons proposé une version modifiée nouvelle SRMSH, qui a l'avantage d'être aussi stable que possible. Une étude approfondie a été faite, présentant les différentes versions : SRMSH et SRMSH2. Dans le but de construire un algorithme SR, d'une complexité d'ordre O(n³) où 2n est la taille de la matrice, une réduction (appropriée) de la matrice à une forme condensée (J(Hessenberg forme) via des similarités adéquates, est cruciale. Cette réduction peut être effectuée via l'algorithme JHESS. Nous avons montré qu'il est possible de réduire une matrice sous la forme J-Hessenberg, en se basant exclusivement sur les transformations de Householder symplectiques. Le nouvel algorithme, appelé JHSJ, est basé sur une adaptation de l'algorithme SRSH. Nous avons réussi à proposer deux nouvelles variantes, aussi stables que possible : JHMSH et JHMSH2. Nous avons constaté que ces algorithmes se comportent d'une manière similaire à l'algorithme JHESS. Une caractéristique importante de tous ces algorithmes est qu'ils peuvent rencontrer un breakdown fatal ou un "near breakdown" rendant impossible la suite des calculs, ou débouchant sur une instabilité numérique, privant le résultat final de toute signification. Ce phénomène n'a pas d'équivalent dans le cas Euclidien. Nous avons réussi à élaborer une stratégie très efficace pour "guérir" le breakdown fatal et traîter le near breakdown. Les nouveaux algorithmes intégrant cette stratégie sont désignés par MJHESS, MJHSH, JHM²SH et JHM²SH2. Ces stratégies ont été ensuite intégrées dans la version implicite de l'algorithme SR lui permettant de surmonter les difficultés rencontrées lors du fatal breakdown ou du near breakdown. Rappelons que, sans ces stratégies, l'algorithme SR s'arrête. Finalement, et dans un autre cadre de matrices structurées, nous avons présenté un algorithme robuste via FFT et la matrice de Hankel, basé sur le calcul approché de plus grand diviseur commun (PGCD) de deux polynômes, pour résoudre le problème de la déconvolution d'images. Plus précisément, nous avons conçu un algorithme pour le calcul du PGCD de deux polynômes bivariés. La nouvelle approche est basée sur un algorithme rapide, de complexité quadratique O(n²), pour le calcul du PGCD des polynômes unidimensionnels. La complexité de notre algorithme est O(n²log(n)) où la taille des images floues est n x n. Les résultats expérimentaux avec des images synthétiquement floues illustrent l'efficacité de notre approche. / The classical linear algebra methods, for calculating eigenvalues and eigenvectors of a matrix, or lower-rank approximations of a solution, etc....do not consider the structures of matrices. Such structures are usually destroyed in the numerical process. Alternative structure-preserving methods are the subject of an important interest mattering to the community. This thesis establishes a contribution in this field. The SR decomposition is usually implemented via the symplectic Gram-Schmidt algorithm. As in the classical case, a loss of orthogonality can occur. To remedy this, we have proposed two algorithms RSGSi and RMSGSi, where the reorthogonalization of a current set of vectors against the previously computed set is performed twice. The loss of J-orthogonality has significantly improved. A direct rounding error analysis of symplectic Gram-Schmidt algorithm is very hard to accomplish. We managed to get around this difficulty and give the error bounds on the loss of the J-orthogonality and on the factorization. Another way to implement the SR decomposition is based on symplectic Householder transformations. An optimal choice of free parameters provided an optimal version of the algorithm SROSH. However, the latter may be subject to numerical instability. We have proposed a new modified version SRMSH, which has the advantage of being numerically more stable. By a detailes study, we are led to two new variants numerically more stables : SRMSH and SRMSH2. In order to build a SR algorithm of complexity O(n³), where 2n is the size of the matrix, a reduction to the condensed matrix form (upper J-Hessenberg form) via adequate similarities is crucial. This reduction may be handled via the algorithm JHESS. We have shown that it is possible to perform a reduction of a general matrix, to an upper J-Hessenberg form, based only on the use of symplectic Householder transformations. The new algorithm, which will be called JHSH algorithm, is based on an adaptation of SRSH algorithm. We are led to two news variants algorithms JHMSH and JHMSH2 which are significantly more stable numerically. We found that these algortihms behave quite similarly to JHESS algorithm. The main drawback of all these algorithms (JHESS, JHMSH, JHMSH2) is that they may encounter fatal breakdowns or may suffer from a severe form of near-breakdowns, causing a brutal stop of the computations, the algorithm breaks down, or leading to a serious numerical instability. This phenomenon has no equivalent in the Euclidean case. We sketch out a very efficient strategy for curing fatal breakdowns and treating near breakdowns. Thus, the new algorithms incorporating this modification will be referred to as MJHESS, MJHSH, JHM²SH and JHM²SH2. These strategies were then incorporated into the implicit version of the SR algorithm to overcome the difficulties encountered by the fatal breakdown or near-breakdown. We recall that without these strategies, the SR algorithms breaks. Finally ans in another framework of structured matrices, we presented a robust algorithm via FFT and a Hankel matrix, based on computing approximate greatest common divisors (GCD) of polynomials, for solving the problem pf blind image deconvolution. Specifically, we designe a specialized algorithm for computing the GCD of bivariate polynomials. The new algorithm is based on the fast GCD algorithm for univariate polynomials , of quadratic complexity O(n²) flops. The complexitiy of our algorithm is O(n²log(n)) where the size of blurred images is n x n. The experimental results with synthetically burred images are included to illustrate the effectiveness of our approach