No description available.

Decoding algorithms for brain machine interfaces map neural firing times to the underlying biological output signal through dynamic tuning functions. In order to maintain an accurate estimate of the biological signal, the state of the tuning function parameters must be tracked simultaneously. The evolution of this system state is often estimated by an adaptive filter. Recent work demonstrates that the Bayesian auxiliary particle filter (BAPF) offers improved estimates of the system state and underlying output signal over existing techniques. Performance of the BAPF is evaluated under both ideal conditions and commonly encountered spike detection errors such as missed and false detections and missorted spikes. However, this increase in neuronal signal decoding accuracy is at the expense of an increase in computational complexity. Real-time execution of the BAPF algorithm for neural signals using a sequential processor becomes prohibitive as the number of particles and neurons in the obs / Electrical and Computer Engineering

Adaptive filtering techniques are used in a wide range of applications, including echo cancellation, adaptive equalization, adaptive noise cancellation, and adaptive beamforming. The performance of an adaptive filtering algorithm is evaluated based on its convergence rate, misadjustment, computational requirements, and numerical robustness. We attempt to improve the performance by developing new adaptation algorithms and by using "unconventional" structures for adaptive filters. Part I of this dissertation presents a new adaptation algorithm, which we have termed the Normalized LMS algorithm with Orthogonal Correction Factors (NLMS-OCF). The NLMS-OCF algorithm updates the adaptive filter coefficients (weights) on the basis of multiple input signal vectors, while NLMS updates the weights on the basis of a single input vector. The well-known Affine Projection Algorithm (APA) is a special case of our NLMS-OCF algorithm. We derive convergence and tracking properties of NLMS-OCF using a simple model for the input vector. Our analysis shows that the convergence rate of NLMS-OCF (and also APA) is exponential and that it improves with an increase in the number of input signal vectors used for adaptation. While we show that, in theory, the misadjustment of the APA class is independent of the number of vectors used for adaptation, simulation results show a weak dependence. For white input the mean squared error drops by 20 dB in about 5N/(M+1) iterations, where N is the number of taps in the adaptive filter and (M+1) is the number of vectors used for adaptation. The dependence of the steady-state error and of the tracking properties on the three user-selectable parameters, namely step size, number of vectors used for adaptation (M+1), and input vector delay D used for adaptation, is discussed. While the lag error depends on all of the above parameters, the fluctuation error depends only on step size. Increasing D results in a linear increase in the lag error and hence the total steady-state mean-squared error. The optimum choices for step size and M are derived. Simulation results are provided to corroborate our analytical results. We also derive a fast version of our NLMS-OCF algorithm that has a complexity of O(NM). The fast version of the algorithm performs orthogonalization using a forward-backward prediction lattice. We demonstrate the advantages of using NLMS-OCF in a practical application, namely stereophonic acoustic echo cancellation. We find that NLMS-OCF can provide faster convergence, as well as better echo rejection, than the widely used APA. While the first part of this dissertation attempts to improve adaptive filter performance by refining the adaptation algorithm, the second part of this work looks at improving the convergence rate by using different structures. From an abstract viewpoint, the parameterization we decide to use has no special significance, other than serving as a vehicle to arrive at a good input-output description of the system. However, from a practical viewpoint, the parameterization decides how easy it is to numerically minimize the cost function that the adaptive filter is attempting to minimize. A balanced realization is known to minimize the parameter sensitivity as well as the condition number for Grammians. Furthermore, a balanced realization is useful in model order reduction. These properties of the balanced realization make it an attractive candidate as a structure for adaptive filtering. We propose an adaptive filtering algorithm based on balanced realizations. The third part of this dissertation proposes a unit-norm-constrained equation-error based adaptive IIR filtering algorithm. Minimizing the equation error subject to the unit-norm constraint yields an unbiased estimate for the parameters of a system, if the measurement noise is white. The proposed algorithm uses the hyper-spherical transformation to convert this constrained optimization problem into an unconstrained optimization problem. It is shown that the hyper-spherical transformation does not introduce any new minima in the equation error surface. Hence, simple gradient-based algorithms converge to the global minimum. Simulation results indicate that the proposed algorithm provides an unbiased estimate of the system parameters. / Ph. D.

[pt] Esta tese apresenta novas estruturas e algoritmos adaptativos para detecção às cegas de sinais DS-CDMA. São investigados receptores cegos com restrições lineares baseados nas funções custo de mínima variância (CMV) e módulo constante (CCM). Algoritmos adaptativos do tipo Affine-Projection para estimação dos parâmetros do receptor são desenvolvidos e seu desempenho em estado estacionário é analisado. Também são apresentados algoritmos adaptativos para estimação às cegas do canal de comunicações. Em seguida, novas estruturas de canceladores de interferência são propostas. Primeiramente um cancelador de interferência paralelo (PIC) linear baseado na função custo CCM é proposto. Em seguida é desenvolvido um novo esquema não-supervisionado de cancelamento sucessivo de interferência (SIC), baseado no conceito de arbitragem paralela. Por fim, é apresentado um esquema híbrido (HIC) que combina a estrutura SIC com uma estrutura multi- estágio, resultando em melhores estimativas para detecção e desempenho uniforme para os usuários do sistema. / [en] This thesis presents new structures and adaptive algorithms for blind detection of DS-CDMA signals. Linearly constrained minimum variance (CMV) and constant modulus (CCM) receivers are investigated. Blind adaptive Affine- Projection like algorithms for receiver parameter estimation are derived and its steady-state performance is analyzed. Blind adaptive channel estimation algorithms are also presented. This work also proposes new interference cancellation structures. Firstly, a blind linear parallel interference canceller (PIC) based on the CCM cost function is proposed. Secondly, a new non-supervised serial interference canceller (SIC) based on the parallel arbitration concept is developed. Finally, an hybrid interference cancellation scheme (HIC) which combines SIC and multiple PIC stages is presented.

Esta tese de doutorado trata de algoritmos de detecção cooperativa aplicados ao problema de sensoriamento espectral em sistemas de rádios cognitivos. O problema de detecção cooperativa é abordado sob dois paradigmas distintos: detecção centralizada e distribuída. No primeiro caso, considera-se que o sistema conta com um centro de fusão responsável pela tomada de decisão no processo de detecção. Já no segundo caso, considera-se que os rádios cognitivos da rede trocam informações entre si e as decisões são tomadas localmente. No que concerne ao sensoriamento espectral centralizado, são estudados os casos em que os rádios cognitivos enviam apenas um bit de decisão para o centro de fusão (decisão do tipo hard) e também o caso em que o detector envia a própria estatística de teste ao centro de fusão (decisão do tipo soft). No âmbito de sensoriamento espectral cooperativo com detecção distribuída, são tratados três cenários diferentes. No primeiro, considera-se o caso em que os rádios cognitivos têm conhecimento a priori do sinal enviado pelo usuário primário do sistema e do canal entre eles e o usuário primário. No segundo caso, há conhecimento apenas do sinal enviado pelo usuário primário. Já no terceiro, os rádios cognitivos não dispõem de qualquer informação a priori do sinal enviado pelo usuário primário. Além do problema de detecção distribuída, a tese também apresenta um capítulo dedicado ao problema de estimação, diretamente associado ao de detecção. Esse último problema é abordado utilizando algoritmos derivados da teoria clássica de filtragem adaptativa. / This doctorate thesis deals with cooperative detection algorithms applied to the spectral sensing problem. The cooperative detection problem is approached under two different paradigms: centralized and distributed detection. In the first case, is considered that a fusion center responsible for detection decision is presented in the system. On the other hand, in the second case, is considered that the cognitive radios in the network exchange information among them. Concerning the centralized spectrum sensing system, the case in which the cognitive radios send only one decision bit (hard decision) to the fusion center and the case in which the detector send the statistic test (soft decision) are considered. Regarding the spectrum sensing system with distributed detection, the work analysis three different scenarios. In the first one, where the cognitive radios explore an a priori knowledge of the primary user signal and the channel between the primary user and the cognitive radio. In the second one, the cognitive radios use an a priori knowledge of only the primary user signal. And, in the las scenario, there is no a priori knowledge about the primary user signal. Besides the distributed detection problem, the thesis also presents a chapter dedicated to the estimation problem, which is directed related to the detection problem. This last issue is approached using adaptive algorithms derived from the classic adaptive filtering theory.

Adaptive filtering has grown to become a fundamental topic in signal processing, increasingly attracting attention from the community. Important factors in this popularization were their low computational complexity and model-free nature, adapting even to nonstationary characteristics of the systems and/or signals under study. Nevertheless, many adaptive algorithms introduce trade-offs, for instance, between convergence rate, nonstationary signals tracking, and steady-state error, which can hinder their use in practical applications. Furthermore, some adaptive filters can become unstable when word length is reduced and/or the input data are highly correlated. Recently, combination of adaptive filters was put forward as a solution for such issues. This approach consists in combining a pool of filters by means of a supervisor that attempts to make the overall system at least as good (usually in the mean-square sense) as the best filter in the set. Examples of these structures have been shown to successfully solve this problem, although well-known limitations remain to be addressed. Moreover, due to the relative novelty of this topic, developments in combination of adaptive filters are difficult to accommodate into a common theoretical framework. This work studies combination of adaptive filters and addresses the aforementioned issue by (i) classifying the existing combinations and proposing a taxonomy that exposes the similarities and differences in their forms; (ii) proposing new combinations; (iii) devising a general framework for studying combinations of adaptive filters and using such framework in performance analyses. / Filtragem adaptativa vem ganhando destaque desde seu surgimento tornando-se um tópico de estudo fundamental em processamento de sinais. A versatilidade de dispensarem total conhecimento das propriedades estatísticas dos sinais, aliada à simplicidade computacional de seus métodos, foram importantes fatores em sua consagração. Apesar disto, muitos filtros adaptativos apresentam compromissos envolvendo, por exemplo, velocidade de convergência, rastreamento de sinais não-estacionários e erro em regime, que podem dificultar sua aplicação na prática. Ademais, alguns algoritmos adaptativos são instáveis quando suas entradas são altamente correlacionados e/ou a precisão dos cálculos é reduzida. Uma solução recente para estes problemas é o uso de combinações de filtros adaptativos. Esta abordagem baseia-se em combinar um conjunto de filtros por meio de um supervisor que procura fazer com que o sistema global seja pelo menos tão bom (em geral no sentido quadrático médio) quanto o melhor filtro do conjunto. Exemplos destas estruturas já mostraram a eficácia deste método, apesar de ainda existirem reconhecida limitações. Além disso, em se tratando de um tópico relativamente recente, os desenvolvimentos na área de combinação de filtros adaptativos não possuem uma estrutura teórica unificada. Este trabalho propõe abordar estas questões (i) classificando as combinações existentes e criando uma taxonomia que explicite semelhanças e diferenças entre elas; (ii) introduzindo novas combinações; e (iii) desenvolvendo uma forma unificada de descrever combinações de filtros adaptativos e usando-a em análises de desempenho.

This document introduces a new class of adaptive filters, namely Geometric- Algebra Adaptive Filters (GAAFs). Those are generated by formulating the underlying minimization problem (a least-squares cost function) from the perspective of Geometric Algebra (GA), a comprehensive mathematical language well-suited for the description of geometric transformations. Also, differently from the usual linear algebra approach, Geometric Calculus (the extension of Geometric Algebra to differential calculus) allows to apply the same derivation techniques regardless of the type (subalgebra) of the data, i.e., real, complex-numbers, quaternions etc. Exploiting those characteristics, among others, a general leastsquares cost function is posed, from which two types of GAAFs are designed. The first one, called standard, provides a generalization of regular adaptive filters for any subalgebra of GA. From the obtained update rule, it is shown how to recover the following least-mean squares (LMS) adaptive filter variants: real-entries LMS, complex LMS, and quaternions LMS. Mean-square analysis and simulations in a system identification scenario are provided, showing almost perfect agreement for different levels of measurement noise. The second type, called pose estimation, is designed to estimate rigid transformations { rotation and translation - in n-dimensional spaces. The GA-LMS performance is assessed in a 3-dimensional registration problem, in which it is able to estimate the rigid transformation that aligns two point clouds that share common parts. / Este documento introduz uma nova classe de filtros adaptativos, entitulados Geometric-Algebra Adaptive Filters (GAAFs). Eles s~ao projetados via formulação do problema de minimização (uma função custo de mínimos quadrados) do ponto de vista de álgebra geométrica (GA), uma abrangente linguagem matemática apropriada para a descrição de transformações geométricas. Adicionalmente, diferente do que ocorre na formulação com álgebra linear, cálculo geométrico (a extensão de álgebra geométrica que possibilita o uso de cálculo diferencial) permite aplicar as mesmas técnicas de derivação independentemente do tipo de dados (subálgebra), isto é, números reais, números complexos, quaternions etc. Usando essas e outras características, uma função custo geral de mínimos quadrados é proposta, da qual dois tipos de GAAFs são gerados. O primeiro, chamado standard, generaliza filtros adaptativos da literatura concebidos sob a perspectiva de subálgebras de GA. As seguintes variantes do filtro least-mean squares (LMS) s~ao obtidas como casos particulares: LMS real, LMS complexo e LMS quaternions. Uma análise mean-square é desenvolvida e corroborada por simulações para diferentes níveis de ruído de medição em um cenário de identificação de sistemas. O segundo tipo, chamado pose estimation, é projetado para estimar transformações rígidas - rotação e translação { em espaços n-dimensionais. A performance do filtro GA-LMS é avaliada em uma aplicação de alinhamento tridimensional na qual ele estima a tranformação rígida que alinha duas nuvens de pontos com partes em comum.

Neste texto são propostos algoritmos de filtragem adaptativa de baixo custo computacional para o processamento de sinais lineares no sentido amplo e para beamforming. Novas técnicas de filtragem adaptativa com baixo custo computacional são desenvolvidas para o processamento de sinais lineares no sentido amplo, representados por números complexos ou por quaternions. Os algoritmos propostos evitam a redundância de estatísticas de segunda ordem na matriz de auto correlação, o que é obtido por meio da substituição do vetor de dados original por um vetor de dados real contendo as mesmas informações. Dessa forma, evitam-se muitas operações entre números complexos (ou entre quaternions), que são substituídas por operações entre reais e números complexos (ou entre reais e quaternions), de menor custo computacional. Análises na media e na variância para qualquer algoritmo de quaternions baseados na técnica least-mean squares (LMS) são desenvolvidas. Também é obtido o algoritmo de quaternions baseado no LMS e com vetor de entrada real de mais rápida convergência. Uma nova versão estável e de baixo custo computacional do algoritmo recursive least squares (RLS) amplamente linear também é desenvolvida neste texto. A técnica é modificada para usar o método do dichotomous coordinate descent (DCD), resultando em uma abordagem de custo computacional linear em relação ao comprimento N do vetor de entrada (enquanto o algoritmo original possui custo computacional quadrático em N). Para aplicações em beamforming, são desenvolvidas novas técnicas baseadas no algoritmo adaptive re-weighting homotopy. As novas técnicas são aplicadas para arrays em que o número de fontes é menor do que o número de sensores, tal que a matriz de auto correlação se torna mal-condicionada. O algoritmo DCD é usado para obter uma redução adicional do custo computacional. / In this text, low-cost adaptive filtering techniques are proposed for widely-linear processing and beamforming applications. New reduced-complexity versions of widely-linear adaptive filters are proposed for complex and quaternion processing. The low-cost techniques avoid redundant secondorder statistics in the autocorrelation matrix, which is obtained replacing the original widely-linear data vector by a real vector with the same information. Using this approach, many complex-complex (or quaternion-quaternion) operations are substituted by less costly real-complex (or real-quaternion) computations in the algorithms. An analysis in the mean and in the variance is performed for quaternion-based techniques, suitable for any quaternion least-mean squares (LMS) algorithm. The fastest-converging widely-linear quaternion LMS algorithm with real-valued input is obtained. For complex-valued processing, a low-cost and stable version of the widely-linear recursive least-squares (RLS) algorithm is also developed. The widely-linear RLS technique is modified to apply the dichotomous coordinate descent (DCD) method, which leads to an algorithm with computational complexity linear on the data vector length N (in opposition to the original WL technique, for which the complexity is quadratic in N). New complex-valued techniques based on the adaptive re-weighting homotopy algorithm are developed for beamforming. The algorithms are applied to sensor arrays in which the number of interferer sources is less than the number of sensors, so that the autocorrelation matrix is ill-conditioned. DCD iterations are applied to further reduce the computational complexity.

Esta tese de doutorado trata de algoritmos de detecção cooperativa aplicados ao problema de sensoriamento espectral em sistemas de rádios cognitivos. O problema de detecção cooperativa é abordado sob dois paradigmas distintos: detecção centralizada e distribuída. No primeiro caso, considera-se que o sistema conta com um centro de fusão responsável pela tomada de decisão no processo de detecção. Já no segundo caso, considera-se que os rádios cognitivos da rede trocam informações entre si e as decisões são tomadas localmente. No que concerne ao sensoriamento espectral centralizado, são estudados os casos em que os rádios cognitivos enviam apenas um bit de decisão para o centro de fusão (decisão do tipo hard) e também o caso em que o detector envia a própria estatística de teste ao centro de fusão (decisão do tipo soft). No âmbito de sensoriamento espectral cooperativo com detecção distribuída, são tratados três cenários diferentes. No primeiro, considera-se o caso em que os rádios cognitivos têm conhecimento a priori do sinal enviado pelo usuário primário do sistema e do canal entre eles e o usuário primário. No segundo caso, há conhecimento apenas do sinal enviado pelo usuário primário. Já no terceiro, os rádios cognitivos não dispõem de qualquer informação a priori do sinal enviado pelo usuário primário. Além do problema de detecção distribuída, a tese também apresenta um capítulo dedicado ao problema de estimação, diretamente associado ao de detecção. Esse último problema é abordado utilizando algoritmos derivados da teoria clássica de filtragem adaptativa. / This doctorate thesis deals with cooperative detection algorithms applied to the spectral sensing problem. The cooperative detection problem is approached under two different paradigms: centralized and distributed detection. In the first case, is considered that a fusion center responsible for detection decision is presented in the system. On the other hand, in the second case, is considered that the cognitive radios in the network exchange information among them. Concerning the centralized spectrum sensing system, the case in which the cognitive radios send only one decision bit (hard decision) to the fusion center and the case in which the detector send the statistic test (soft decision) are considered. Regarding the spectrum sensing system with distributed detection, the work analysis three different scenarios. In the first one, where the cognitive radios explore an a priori knowledge of the primary user signal and the channel between the primary user and the cognitive radio. In the second one, the cognitive radios use an a priori knowledge of only the primary user signal. And, in the las scenario, there is no a priori knowledge about the primary user signal. Besides the distributed detection problem, the thesis also presents a chapter dedicated to the estimation problem, which is directed related to the detection problem. This last issue is approached using adaptive algorithms derived from the classic adaptive filtering theory.

Neste texto são propostos algoritmos de filtragem adaptativa de baixo custo computacional para o processamento de sinais lineares no sentido amplo e para beamforming. Novas técnicas de filtragem adaptativa com baixo custo computacional são desenvolvidas para o processamento de sinais lineares no sentido amplo, representados por números complexos ou por quaternions. Os algoritmos propostos evitam a redundância de estatísticas de segunda ordem na matriz de auto correlação, o que é obtido por meio da substituição do vetor de dados original por um vetor de dados real contendo as mesmas informações. Dessa forma, evitam-se muitas operações entre números complexos (ou entre quaternions), que são substituídas por operações entre reais e números complexos (ou entre reais e quaternions), de menor custo computacional. Análises na media e na variância para qualquer algoritmo de quaternions baseados na técnica least-mean squares (LMS) são desenvolvidas. Também é obtido o algoritmo de quaternions baseado no LMS e com vetor de entrada real de mais rápida convergência. Uma nova versão estável e de baixo custo computacional do algoritmo recursive least squares (RLS) amplamente linear também é desenvolvida neste texto. A técnica é modificada para usar o método do dichotomous coordinate descent (DCD), resultando em uma abordagem de custo computacional linear em relação ao comprimento N do vetor de entrada (enquanto o algoritmo original possui custo computacional quadrático em N). Para aplicações em beamforming, são desenvolvidas novas técnicas baseadas no algoritmo adaptive re-weighting homotopy. As novas técnicas são aplicadas para arrays em que o número de fontes é menor do que o número de sensores, tal que a matriz de auto correlação se torna mal-condicionada. O algoritmo DCD é usado para obter uma redução adicional do custo computacional. / In this text, low-cost adaptive filtering techniques are proposed for widely-linear processing and beamforming applications. New reduced-complexity versions of widely-linear adaptive filters are proposed for complex and quaternion processing. The low-cost techniques avoid redundant secondorder statistics in the autocorrelation matrix, which is obtained replacing the original widely-linear data vector by a real vector with the same information. Using this approach, many complex-complex (or quaternion-quaternion) operations are substituted by less costly real-complex (or real-quaternion) computations in the algorithms. An analysis in the mean and in the variance is performed for quaternion-based techniques, suitable for any quaternion least-mean squares (LMS) algorithm. The fastest-converging widely-linear quaternion LMS algorithm with real-valued input is obtained. For complex-valued processing, a low-cost and stable version of the widely-linear recursive least-squares (RLS) algorithm is also developed. The widely-linear RLS technique is modified to apply the dichotomous coordinate descent (DCD) method, which leads to an algorithm with computational complexity linear on the data vector length N (in opposition to the original WL technique, for which the complexity is quadratic in N). New complex-valued techniques based on the adaptive re-weighting homotopy algorithm are developed for beamforming. The algorithms are applied to sensor arrays in which the number of interferer sources is less than the number of sensors, so that the autocorrelation matrix is ill-conditioned. DCD iterations are applied to further reduce the computational complexity.