Os problemas de separação cega de fontes e desconvolução cega multiusuário vêm sendo intensamente estudados nas últimas décadas, principalmente devido às inúmeras possibilidades de aplicações práticas. A desconvolução multiusuário pode ser compreendida como um problema particular de separação de fontes em que o sistema misturador é convolutivo, e as estatísticas das fontes, que possuem alfabeto finito, são bem conhecidas. Dentre os desafios atuais nessa área, cabe destacar que a obtenção de soluções adaptativas para o problema de separação cega de fontes com misturas convolutivas não é trivial, pois envolve ferramentas matemáticas avançadas e uma compreensão aprofundada das técnicas estatísticas a serem utilizadas. No caso em que não se conhece o tipo de mistura ou as estatísticas das fontes, o problema é ainda mais desafiador. Na área de Processamento Estatístico de Sinais, soluções vêm sendo propostas para resolver casos específicos. A obtenção de algoritmos adaptativos eficientes e numericamente robustos para realizar separação cega de fontes, tanto envolvendo misturas instantâneas quanto convolutivas, ainda é um desafio. Por sua vez, a desconvolução cega de canais de comunicação vem sendo estudada desde os anos 1960 e 1970. A partir de então, várias soluções adaptativas eficientes foram propostas nessa área. O bom entendimento dessas soluções pode sugerir um caminho para a compreensão aprofundada das soluções existentes para o problema mais amplo de separação cega de fontes e para a obtenção de algoritmos eficientes nesse contexto. Sendo assim, neste trabalho (i) revisitam-se a formulação dos problemas de separação cega de fontes e desconvolução cega multiusuário, bem como as relações existentes entre esses problemas, (ii) abordam-se as soluções existentes para a desconvolução cega multiusuário, verificando-se suas limitações e propondo-se modificações, resultando na obtenção de algoritmos com boa capacidade de separação e robustez numérica, e (iii) relacionam-se os critérios de desconvolução cega multiusuário baseados em curtose com os critérios de separação cega de fontes. / Blind source separation and blind deconvolution of multiuser systems have been intensively studied over the last decades, mainly due to the countless possibilities of practical applications. Blind deconvolution in the multiuser case can be understood as a particular case of blind source separation in which the mixing system is convolutive, and the sources, which exhibit a finite alphabet, have well known statistics. Among the current challenges in this area, it is worth noting that obtaining adaptive solutions for the blind source separation problem with convolutive mixtures is not trivial, as it requires advanced mathematical tools and a thorough comprehension of the statistical techniques to be used. When the kind of mixture or source statistics are unknown, the problem is even more challenging. In the field of statistical signal processing, solutions aimed at specific cases have been proposed. The development of efficient and numerically robust adaptive algorithms in blind source separation, for either instantaneous or convolutive mixtures, remains an open challenge. On the other hand, blind deconvolution of communication channels has been studied since the 1960s and 1970s. Since then, various types of efficient adaptive solutions have been proposed in this field. The proper understanding of these solutions can suggest a path to further understand the existing solutions for the broader problem of blind source separation and to obtain efficient algorithms in this context. Consequently, in this work we (i) revisit the problem formulation of blind source separation and blind deconvolution of multiuser systems, and the existing relations between these problems, (ii) address the existing solutions for blind deconvolution in the multiuser case, verifying their limitations and proposing modifications, resulting in the development of algorithms with proper separation performance and numeric robustness, and (iii) relate the kurtosis based criteria of blind multiuser deconvolution and blind source separation.

This thesis presents a technique used to stochastically estimate the location of hidden discontinuities in carbon fiber composite materials. Composites pose a challenge to signal processing because speckle noise, as a result of reflections from impregnated laminas, masks useful information and impedes detection of hidden discontinuities. Although digital signal processing techniques have been exploited to lessen speckle noise and help to localize discontinuities, uncertainty in ultrasonic wave propagation and broadband frequency based inspections of composites still make it a difficult task. The technique proposed in this thesis estimates the location of hidden discontinuities stochastically in one- and two-dimensions based on statistical data of A-Scans and C-Scans. Multiple experiments have been performed on carbon fiber reinforced plastics including artificial delaminations and porosity at different depths in the thickness of material. A probabilistic approach, which precisely localizes discontinuities in high and low amplitude signals, has been used to present this method. Compared to conventional techniques the proposed technique offers a more reliable package, with the ability to detect discontinuities in signals with lower intensities by utilizing the repetitive amplitudes in multiple sensor observations obtained from one-dimensional A-Scans or two-dimensional C-Scan data sets. The thesis presents the methodology encompassing the proposed technique and the implementation of a system to process real ultrasonic signals and images for effective discontinuity detection and localization.

abstract: Tracking targets in the presence of clutter is inevitable, and presents many challenges. Additionally, rapid, drastic changes in clutter density between different environments or scenarios can make it even more difficult for tracking algorithms to adapt. A novel approach to target tracking in such dynamic clutter environments is proposed using a particle filter (PF) integrated with Interacting Multiple Models (IMMs) to compensate and adapt to the transition between different clutter densities. This model was implemented for the case of a monostatic sensor tracking a single target moving with constant velocity along a two-dimensional trajectory, which crossed between regions of drastically different clutter densities. Multiple combinations of clutter density transitions were considered, using up to three different clutter densities. It was shown that the integrated IMM PF algorithm outperforms traditional approaches such as the PF in terms of tracking results and performance. The minimal additional computational expense of including the IMM more than warrants the benefits of having it supplement and amplify the advantages of the PF. / Dissertation/Thesis / Masters Thesis Electrical Engineering 2015

Le travail dans cette thèse porte sur le problème de détection «one among many» où l’on doit distinguer entre un bruit sous H0 et une parmi L alternatives connues sous H1. Ce travail se concentre sur l’étude et la mise en œuvre de méthodes de détection robustes de dimension réduite utilisant des dictionnaires optimisés. Ces méthodes de détection sont associées au test de Rapport de Vraisemblance Généralisé. Les approches proposées sont principalement évaluées sur des données hyperspectrales. Dans la première partie, plusieurs sujets techniques associés à cette thèse sont présentés. La deuxième partie met en évidence les aspects théoriques et algorithmiques des méthodes proposées. Deux inconvénients liés à un grand nombre d’alternatives se posent. Dans ce cadre, nous proposons des techniques d’apprentissage de dictionnaire basées sur un critère robuste qui cherche à minimiser la perte de puissance dans le pire des cas (type minimax). Dans le cas où l’on cherche un dictionnaire à K = 1 atome, nous montrons que la solution exacte peut être obtenue. Ensuite, nous proposons dans le cas K > 1 trois algorithmes d’apprentissage minimax. Finalement, la troisième partie de ce manuscrit présente plusieurs applications. L’application principale concerne les données astrophysiques hyperspectrales de l’instrument Multi Unit Spectroscopic Explorer. Les résultats numériques montrent que les méthodes proposées sont robustes et que le cas K > 1 permet d’augmenter les performances de détection minimax par rapport au cas K = 1. D’autres applications possibles telles que l’apprentissage minimax de visages et la reconnaissance de chiffres manuscrits dans le pire cas sont présentées. / This Ph.D dissertation deals with a "one among many" detection problem, where one has to discriminate between pure noise under H0 and one among L known alternatives under H1. This work focuses on the study and implementation of robust reduced dimension detection tests using optimized dictionaries. These detection methods are associated with the Generalized Likelihood Ratio test. The proposed approaches are principally assessed on hyperspectral data. In the first part, several technical topics associated to the framework of this dissertation are presented. The second part highlights the theoretical and algorithmic aspects of the proposed methods. Two issues linked to the large number of alternatives arise in this framework. In this context, we propose dictionary learning techniques based on a robust criterion that seeks to minimize the maximum power loss (type minimax). In the case where the learned dictionary has K = 1 column, we show that the exact solution can be obtained. Then, we propose in the case K > 1 three minimax learning algorithms. Finally, the third part of this manuscript presents several applications. The principal application regards astrophysical hyperspectral data of the Multi Unit Spectroscopic Explorer instrument. Numerical results show that the proposed algorithms are robust and in the case K > 1 they allow to increase the minimax detection performances over the K = 1 case. Other possible applications such as worst-case recognition of faces and handwritten digits are presented.

Nous considérons le problème de débruitage d'un signal ou d'une image observés dans le bruit gaussien. Dans ce problème les estimateurs linéaires classiques sont quasi-optimaux quand l'ensemble des signaux, qui doit être convexe et compact, est connu a priori. Si cet ensemble n'est pas spécifié, la conception d'un estimateur adaptatif qui ``ne connait pas'' la structure cachée du signal reste un problème difficile. Dans cette thèse, nous étudions une nouvelle famille d'estimateurs des signaux satisfaisant certains propriétés d'invariance dans le temps. De tels signaux sont caractérisés par leur structure harmonique, qui est généralement inconnu dans la pratique.Nous proposons des nouveaux estimateurs capables d'exploiter la structure harmonique inconnue du signal è reconstruire. Nous démontrons que ces estimateurs obéissent aux divers "inégalités d'oracle," et nous proposons une implémentation algorithmique numériquement efficace de ces estimateurs basée sur des algorithmes d'optimisation de "premier ordre." Nous évaluons ces estimateurs sur des données synthétiques et sur des signaux et images réelles. / We consider the problem of denoising a signal observed in Gaussian noise.In this problem, classical linear estimators are quasi-optimal provided that the set of possible signals is convex, compact, and known a priori. However, when the set is unspecified, designing an estimator which does not ``know'' the underlying structure of a signal yet has favorable theoretical guarantees of statistical performance remains a challenging problem. In this thesis, we study a new family of estimators for statistical recovery of signals satisfying certain time-invariance properties. Such signals are characterized by their harmonic structure, which is usually unknown in practice. We propose new estimators which are capable to exploit the unknown harmonic structure of a signal to reconstruct. We demonstrate that these estimators admit theoretical performance guarantees, in the form of oracle inequalities, in a variety of settings.We provide efficient algorithmic implementations of these estimators via first-order optimization algorithm with non-Euclidean geometry, and evaluate them on synthetic data, as well as some real-world signals and images.

Cette thèse s'est développée à l'interface entre physique statistique et traitement statistique du signal, afin d'allier les perspectives de ces deux disciplines sur les problèmes de sommes et maxima de variables aléatoires. Nous avons exploré trois axes d'études qui mènent à s'éloigner des conditions classiques (i.i.d.) : l'importance des événements rares, le couplage avec la taille du système, et la corrélation. Combinés, ces trois axes mènent à des situations dans lesquelles les théorèmes de convergence classiques sont mis en défaut.Pour mieux comprendre l'effet du couplage avec la taille du système, nous avons étudié le comportement de la somme et du maximum de variables aléatoires indépendantes élevées à une puissance dépendante de la taille du signal. Dans le cas du maximum, nous avons mis en évidence l'apparition de lois limites non standards. Dans le cas de la somme, nous nous sommes intéressés au lien entre effet de linéarisation et transition vitreuse en physique statistique. Grâce à ce lien, nous avons pu définir une notion d'ordre critique des moments, montrant que, pour un processus multifractal, celui-ci ne dépend pas de la résolution du signal. Parallèlement, nous avons construit et étudié, théoriquement et numériquement, les performances d'un estimateur de cet ordre critique pour une classe de variables aléatoires indépendantes.Pour mieux cerner l'effet de la corrélation sur le maximum et la somme de variables aléatoires, nous nous sommes inspirés de la physique statistique pour construire une classe de variable aléatoires dont la probabilité jointe peut s'écrire comme un produit de matrices. Après une étude détaillée de ses propriétés statistiques, qui a montré la présence potentielle de corrélation à longue portée, nous avons proposé pour ces variables une méthode de synthèse en réussissant à reformuler le problème en termes de modèles à chaîne de Markov cachée. Enfin, nous concluons sur une analyse en profondeur du comportement limite de leur somme et de leur maximum. / This thesis has grown at the interface between statistical physics and signal processing, combining the perspectives of both disciplines to study the issues of sums and maxima of random variables. Three main axes, venturing beyond the classical (i.i.d) conditions, have been explored: The importance of rare events, the coupling between the behavior of individual random variable and the size of the system, and correlation. Together, these three axes have led us to situations where classical convergence theorems are no longer valid.To improve our understanding of the impact of the coupling with the system size, we have studied the behavior of the sum and the maximum of independent random variables raised to a power depending of the size of the signal. In the case of the maximum, we have brought to light non standard limit laws. In the case of the sum, we have studied the link between linearisation effect and glass transition in statistical physics. Following this link, we have defined a critical moment order such that for a multifractal process, this critical order does not depend on the signal resolution. Similarly, a critical moment estimator has been designed and studied theoretically and numerically for a class of independent random variables.To gain some intuition on the impact of correlation on the maximum or sum of random variables, following insights from statistical physics, we have constructed a class of random variables where the joint distribution probability can be expressed as a matrix product. After a detailed study of its statistical properties, showing that these variables can exhibit long range correlations, we have managed to recast this model into the framework of Hidden Markov Chain models, enabling us to design a synthesis procedure. Finally, we conclude by an in-depth study of the limit behavior of the sum and maximum of these random variables.

The multi-target tracking problem essentially involves the recursive joint estimation of the state of unknown and time-varying number of targets present in a tracking scene, given a series of observations. This problem becomes more challenging because the sequence of observations is noisy and can become corrupted due to miss-detections and false alarms/clutter. Additionally, the detected observations are indistinguishable from clutter. Furthermore, whether the target(s) of interest are point or extended (in terms of spatial extent) poses even more technical challenges. An approach known as random finite sets provides an elegant and rigorous framework for the handling of the multi-target tracking problem. With a random finite sets formulation, both the multi-target states and multi-target observations are modelled as finite set valued random variables, that is, random variables which are random in both the number of elements and the values of the elements themselves. Furthermore, compared to other approaches, the random finite sets approach possesses a desirable characteristic of being free of explicit data association prior to tracking. In addition, a framework is available for dealing with random finite sets and is known as finite sets statistics. In this thesis, advanced signal processing techniques are employed to provide enhancements to and develop new random finite sets based multi-target tracking algorithms for the tracking of both point and extended targets with the aim to improve tracking performance in cluttered environments. To this end, firstly, a new and efficient Kalman-gain aided sequential Monte Carlo probability hypothesis density (KG-SMC-PHD) filter and a cardinalised particle probability hypothesis density (KG-SMC-CPHD) filter are proposed. These filters employ the Kalman- gain approach during weight update to correct predicted particle states by minimising the mean square error between the estimated measurement and the actual measurement received at a given time in order to arrive at a more accurate posterior. This technique identifies and selects those particles belonging to a particular target from a given PHD for state correction during weight computation. The proposed SMC-CPHD filter provides a better estimate of the number of targets. Besides the improved tracking accuracy, fewer particles are required in the proposed approach. Simulation results confirm the improved tracking performance when evaluated with different measures. Secondly, the KG-SMC-(C)PHD filters are particle filter (PF) based and as with PFs, they require a process known as resampling to avoid the problem of degeneracy. This thesis proposes a new resampling scheme to address a problem with the systematic resampling method which causes a high tendency of resampling very low weight particles especially when a large number of resampled particles are required; which in turn affect state estimation. Thirdly, the KG-SMC-(C)PHD filters proposed in this thesis perform filtering and not tracking , that is, they provide only point estimates of target states but do not provide connected estimates of target trajectories from one time step to the next. A new post processing step using game theory as a solution to this filtering - tracking problem is proposed. This approach was named the GTDA method. This method was employed in the KG-SMC-(C)PHD filter as a post processing technique and was evaluated using both simulated and real data obtained using the NI-USRP software defined radio platform in a passive bi-static radar system. Lastly, a new technique for the joint tracking and labelling of multiple extended targets is proposed. To achieve multiple extended target tracking using this technique, models for the target measurement rate, kinematic component and target extension are defined and jointly propagated in time under the generalised labelled multi-Bernoulli (GLMB) filter framework. The GLMB filter is a random finite sets-based filter. In particular, a Poisson mixture variational Bayesian (PMVB) model is developed to simultaneously estimate the measurement rate of multiple extended targets and extended target extension was modelled using B-splines. The proposed method was evaluated with various performance metrics in order to demonstrate its effectiveness in tracking multiple extended targets.

Depuis les vingt dernières années, l'industrie a développé plusieurs produits commerciaux dotés de capacités auditives et visuelles. La grand majorité de ces produits est composée d'un caméscope et d'un microphone embarqué (téléphones portables, tablettes, etc). D'autres, comme la Kinect, sont équipés de capteurs de profondeur et/ou de petits réseaux de microphones. On trouve également des téléphones portables dotés d'un système de vision stéréo. En même temps, plusieurs systèmes orientés recherche sont apparus (par exemple, le robot humanoïde NAO). Du fait que ces systèmes sont compacts, leurs capteurs sont positionnés près les uns des autres. En conséquence, ils ne peuvent pas capturer la scène complète, mais qu'un point de vue très particulier de l'interaction sociale en cours. On appelle cela "Analyse Égocentrique de Scènes Audio-Visuelles''. Cette thèse contribue à cette thématique de plusieurs façons. D'abord, en fournissant une base de données publique qui cible des applications comme la reconnaissance d'actions et de gestes, localisation et suivi d'interlocuteurs, analyse du tour de parole, localisation de sources auditives, etc. Cette base a été utilisé en dedans et en dehors de cette thèse. Nous avons aussi travaillé le problème de la détection d'événements audio-visuels. Nous avons montré comme la confiance en une des modalités (issue de la vision en l'occurrence), peut être modélisée pour biaiser la méthode, en donnant lieu à un algorithme d'espérance-maximisation visuellement supervisé. Ensuite, nous avons modifié l'approche pour cibler la détection audio-visuelle d'interlocuteurs en utilisant le robot humanoïde NAO. En parallèle aux travaux en détection audio-visuelle d'interlocuteurs, nous avons développé une nouvelle approche pour la reconnaissance audio-visuelle de commandes. Nous avons évalué la qualité de plusieurs indices et classeurs, et confirmé que l'utilisation des données auditives et visuelles favorise la reconnaissance, en comparaison aux méthodes qui n'utilisent que l'audio ou que la vidéo. Plus tard, nous avons cherché la meilleure méthode pour des ensembles d'entraînement minuscules (5-10 observations par catégorie). Il s'agit d'un problème intéressant, car les systèmes réels ont besoin de s'adapter très rapidement et d'apprendre de nouvelles commandes. Ces systèmes doivent être opérationnels avec très peu d'échantillons pour l'usage publique. Pour finir, nous avons contribué au champ de la localisation de sources sonores, dans le cas particulier des réseaux coplanaires de microphones. C'est une problématique importante, car la géométrie du réseau est arbitraire et inconnue. En conséquence, cela ouvre la voie pour travailler avec des réseaux de microphones dynamiques, qui peuvent adapter leur géométrie pour mieux répondre à certaines tâches. De plus, la conception des produits commerciaux peut être contrainte de façon que les réseaux linéaires ou circulaires ne sont pas bien adaptés.

L'un des enjeux majeurs pour les systèmes d'imagerie par diffraction acoustique et micro-onde, est l'amélioration des performances obtenues au moment de la reconstruction des objets étudiés. Cette amélioration peut s'effectuer par la recherche d'algorithmes d'imagerie plus performants d'une part et par la recherche d'une meilleure configuration de mesures d'autre part. La première approche (recherche d'algorithmes) permet d'améliorer le processus d'extraction de l'information présente dans un échantillon de mesures donné. Néanmoins, la qualité des résultats d'imagerie reste limitée par la quantité d'information initialement disponible. La seconde approche consiste à choisir la configuration de mesures de manière à augmenter la quantité d'information disponible dans les données. Pour cette approche, il est nécessaire de quantifier la quantité d'information dans les données. En théorie de l'estimation, ceci équivaut à quantifier la performance du système. Dans cette thèse, nous utilisons la Borne de Cramer Rao comme mesure de performance, car elle permet d'analyser la performance des systèmes de mesures sans être influencé par le choix de la méthode d'inversion utilisée. Deux analyses sont proposées dans ce manuscrit. La première consiste en l'évaluation de l'influence des facteurs expérimentaux sur la performance d'inversion. Cette analyse a été effectuée pour différents objets le tout sous une hypothèse de configuration bidimensionnelle. La seconde analyse consiste à comparer les performances de l'estimateur obtenu avec l'approximation de Born aux valeurs de la borne de Cramer Rao (BCR); l'objectif étant d'illustrer d'autres applications possibles de la BCR. / Improving the performance of diffraction based imaging systems constitutes a major issue in both acoustic and electromagnetic scattering. To solve this problem, two main approaches can be explored. The first one consists in improving the inversion algorithms used in diffraction based imaging. However, while this approach generally leads to a significant improvement of the performance of the imaging system, it remains limited by the initial amount of information available within the measurements. The second one consists in improving the measurement system in order to maximize the amount of information within the experimental data. This approach does require a quantitative mean of measuring the amount of information available. In estimation problems, the {appraisal of the} performance of the system is often used for that purpose. In this Ph.D. thesis, we use the Cramer Rao bound to assess the performance of the imaging system. In fact, this quantity has the advantage of providing an assessment which is independent from the inversion algorithm used. Two main analysis are discussed in this thesis. The first analysis explores the influence on the system's performance, of several experimental conditions such as the antennas positions, the radiation pattern of the source, the properties of the background medium, etc. Two classes of objects are considered: 2D homogeneous circular cylindrical objects and 2D cylindrical objects with defect. The second analysis studies the performance of an estimator based on Born approximation with the Cramer Rao Bound as reference. The aim of this second analysis is to showcase other possible applications for the Cramer Rao Bound.

L'analyse de séries temporelles biomédicales chaotiques tirées de systèmes dynamiques non-linéaires est toujours un challenge difficile à relever puisque dans certains cas bien spécifiques les techniques existantes basées sur les multi-fractales, les entropies et les graphes de récurrence échouent. Pour contourner les limitations des invariants précédents, de nouveaux descripteurs peuvent être proposés. Dans ce travail de recherche nos contributions ont porté à la fois sur l’amélioration d’indicateurs multifractaux (basés sur une fonction de structure) et entropiques (approchées) mais aussi sur des indicateurs de récurrences (non biaisés). Ces différents indicateurs ont été développés avec pour objectif majeur d’améliorer la discrimination entre des signaux de complexité différente ou d’améliorer la détection de transitions ou de changements de régime du système étudié. Ces changements agissant directement sur l’irrégularité du signal, des mouvements browniens fractionnaires et des signaux tirés du système du Lorenz ont été testés. Ces nouveaux descripteurs ont aussi été validés pour discriminer des fœtus en souffrance de fœtus sains durant le troisième trimestre de grossesse. Des mesures statistiques telles que l’erreur relative, l’écart type, la spécificité, la sensibilité ou la précision ont été utilisées pour évaluer les performances de la détection ou de la classification. Le fort potentiel de ces nouveaux invariants nous laisse penser qu’ils pourraient constituer une forte valeur ajoutée dans l’aide au diagnostic s’ils étaient implémentés dans des logiciels de post-traitement ou dans des dispositifs biomédicaux. Enfin, bien que ces différentes méthodes aient été validées exclusivement sur des signaux fœtaux, une future étude incluant des signaux tirés d’autres systèmes dynamiques nonlinéaires sera réalisée pour confirmer leurs bonnes performances. / The analysis of biomedical time series derived from nonlinear dynamic systems is challenging due to the chaotic nature of these time series. Only few classical parameters can be detected by clinicians to opt the state of patients and fetuses. Though there exist valuable complexity invariants such as multi-fractal parameters, entropies and recurrence plot, they were unsatisfactory in certain cases. To overcome this limitation, we propose in this dissertation new entropy invariants, we contributed to multi-fractal analysis and we developed signal-based (unbiased) recurrence plots based on the dynamic transitions of time series. Principally, we aim to improve the discrimination between healthy and distressed biomedical systems, particularly fetuses by processing the time series using our techniques. These techniques were either validated on Lorenz system, logistic maps or fractional Brownian motions modeling chaotic and random time series. Then the techniques were applied to real fetus heart rate signals recorded in the third trimester of pregnancy. Statistical measures comprising the relative errors, standard deviation, sensitivity, specificity, precision or accuracy were employed to evaluate the performance of detection. Elevated discernment outcomes were realized by the high-order entropy invariants. Multi-fractal analysis using a structure function enhances the detection of medical fetal states. Unbiased cross-determinism invariant amended the discrimination process. The significance of our techniques lies behind their post-processing codes which could build up cutting-edge portable machines offering advanced discrimination and detection of Intrauterine Growth Restriction prior to fetal death. This work was devoted to Fetal Heart Rates but time series generated by alternative nonlinear dynamic systems should be further considered.