Spelling suggestions: "subject:"parcimônia""
71 |
Parcimonie, diversité morphologique et séparation robuste de sources / Sparse modeling, morphological diversity and robust source separationChenot, Cécile 29 September 2017 (has links)
Cette thèse porte sur le problème de Séparation Aveugle de Sources (SAS) en présence de données aberrantes. La plupart des méthodes de SAS sont faussées par la présence de déviations structurées par rapport au modèle de mélange linéaire classique: des évènements physiques inattendus ou des dysfonctionnements de capteurs en sont des exemples fréquents.Nous proposons un nouveau modèle prenant en compte explicitement les données aberrantes. Le problème de séparation en résultant, mal posé, est adressé grâce à la parcimonie. L'utilisation de cette dernière est particulièrement intéressante en SAS robuste car elle permet simultanément de démélanger les sources et de séparer les différentes contributions. Ces travaux sont étendus pour l'estimation de variabilité spectrale pour l'imagerie hyperspectrale terrestre.Des comparaisons avec des méthodes de l'état-de-l'art montrent la robustesse et la fiabilité des algorithmes associés pour un large éventail de configurations, incluant le cas déterminé. / This manuscript addresses the Blind Source Separation (BSS) problem in the presence of outliers. Most BSS techniques are hampered by the presence of structured deviations from the standard linear mixing model, such as unexpected physical events or malfunctions of sensors. We propose a new data model taking explicitly into account the deviations. The resulting joint estimation of the components is an ill-posed problem, tackled using sparse modeling. The latter is particularly efficient for solving robust BSS since it allows for a robust unmixing of the sources jointly with a precise separation of the components. These works are then extended for the estimation of spectral variability in the framework of terrestrial hyperspectral imaging. Numerical experiments highlight the robustness and reliability of the proposed algorithms in a wide range of settings, including the full-rank regime.
|
72 |
Inverse Problems of Deconvolution Applied in the Fields of Geosciences and Planetology / Problèmes inverses de déconvolution appliqués aux Géosciences et à la PlanétologieMeresescu, Alina-Georgiana 25 September 2018 (has links)
Le domaine des problèmes inverses est une discipline qui se trouve à la frontière des mathématiques appliquées et de la physique et qui réunit les différentes solutions pour résoudre les problèmes d'optimisation mathématique. Dans le cas de la déconvolution 1D, ce domaine apporte un formalisme pour proposer des solutions avec deux grands types d'approche: les problèmes inverses avec régularisation et les problèmes inverses bayésiens. Sous l'effet du déluge de données, les géosciences et la planétologie nécessitent des algorithmes de plus en plus plus complexe pour obtenir des informations pertinentes. Dans le cadre de cette thèse, nous proposons d'apporter des connaissances dans trois problèmes de déconvolution 1D sous contrainte avec régularisation dans le domaine de l'hydrologie, la sismologie et de la spectroscopie. Pour chaque problème nous posons le modèle direct, le modèle inverse, et nous proposons un algorithme spécifique pour atteindre la solution. Les algorithmes sont définis ainsi que les différentes stratégies pour déterminer les hyper-paramètres. Aussi, des tests sur des données synthétiques et sur des données réelles sont exposés et discuté du point de vue de l'optimisation mathématique et du point de vue du domaine de l'application choisi. Finalement, les algorithmes proposés ont l'objectif de mettre à portée de main l'utilisation des méthodes des problèmes inverses pour la communauté des Géosciences. / The inverse problem field is a domain at the border between applied mathematics and physics that encompasses the solutions for solving mathematical optimization problems. In the case of 1D deconvolution, the discipline provides a formalism to designing solutions in the frames of its two main approaches: regularization based inverse problems and bayesian based inverse problems. Under the data deluge, geosciences and planetary sciences require more and more complex algorithms for obtaining pertinent information. In this thesis, we solve three 1D deconvolution problems under constraints with regularization based inverse problem methodology: in hydrology, in seismology and in spectroscopy. For every of the three problems, we pose the direct problem, the inverse problem, and we propose a specific algorithm to reach the solution. Algorithms are defined but also the different strategies to determine the hyper-parameters. Furthermore, tests on synthetic data and on real data are presented and commented from the point of view of the inverse problem formulation and that of the application field. Finally, the proposed algorithms aim at making approachable the use of inverse problem methodology for the Geoscience community.
|
73 |
Estimation non paramétrique de densités conditionnelles : grande dimension, parcimonie et algorithmes gloutons. / Nonparametric estimation of sparse conditional densities in moderately large dimensions by greedy algorithms.Nguyen, Minh-Lien Jeanne 08 July 2019 (has links)
Nous considérons le problème d’estimation de densités conditionnelles en modérément grandes dimensions. Beaucoup plus informatives que les fonctions de régression, les densités condi- tionnelles sont d’un intérêt majeur dans les méthodes récentes, notamment dans le cadre bayésien (étude de la distribution postérieure, recherche de ses modes...). Après avoir rappelé les problèmes liés à l’estimation en grande dimension dans l’introduction, les deux chapitres suivants développent deux méthodes qui s’attaquent au fléau de la dimension en demandant : d’être efficace computation- nellement grâce à une procédure itérative gloutonne, de détecter les variables pertinentes sous une hypothèse de parcimonie, et converger à vitesse minimax quasi-optimale. Plus précisément, les deux méthodes considèrent des estimateurs à noyau bien adaptés à l’estimation de densités conditionnelles et sélectionnent une fenêtre multivariée ponctuelle en revisitant l’algorithme glouton RODEO (Re- gularisation Of Derivative Expectation Operator). La première méthode ayant des problèmes d’ini- tialisation et des facteurs logarithmiques supplémentaires dans la vitesse de convergence, la seconde méthode résout ces problèmes, tout en ajoutant l’adaptation à la régularité. Dans l’avant-dernier cha- pitre, on traite de la calibration et des performances numériques de ces deux procédures, avant de donner quelques commentaires et perspectives dans le dernier chapitre. / We consider the problem of conditional density estimation in moderately large dimen- sions. Much more informative than regression functions, conditional densities are of main interest in recent methods, particularly in the Bayesian framework (studying the posterior distribution, find- ing its modes...). After recalling the estimation issues in high dimension in the introduction, the two following chapters develop on two methods which address the issues of the curse of dimensionality: being computationally efficient by a greedy iterative procedure, detecting under some suitably defined sparsity conditions the relevant variables, while converging at a quasi-optimal minimax rate. More precisely, the two methods consider kernel estimators well-adapted for conditional density estimation and select a pointwise multivariate bandwidth by revisiting the greedy algorithm RODEO (Regular- isation Of Derivative Expectation Operator). The first method having some initialization problems and extra logarithmic factors in its convergence rate, the second method solves these problems, while adding adaptation to the smoothness. In the penultimate chapter, we discuss the calibration and nu- merical performance of these two procedures, before giving some comments and perspectives in the last chapter.
|
74 |
Safe optimization algorithms for variable selection and hyperparameter tuning / Algorithmes d’optimisation sûrs pour la sélection de variables et le réglage d’hyperparamètreNdiaye, Eugene 04 October 2018 (has links)
Le traitement massif et automatique des données requiert le développement de techniques de filtration des informations les plus importantes. Parmi ces méthodes, celles présentant des structures parcimonieuses se sont révélées idoines pour améliorer l’efficacité statistique et computationnelle des estimateurs, dans un contexte de grandes dimensions. Elles s’expriment souvent comme solution de la minimisation du risque empirique régularisé s’écrivant comme une somme d’un terme lisse qui mesure la qualité de l’ajustement aux données, et d’un terme non lisse qui pénalise les solutions complexes. Cependant, une telle manière d’inclure des informations a priori, introduit de nombreuses difficultés numériques pour résoudre le problème d’optimisation sous-jacent et pour calibrer le niveau de régularisation. Ces problématiques ont été au coeur des questions que nous avons abordées dans cette thèse.Une technique récente, appelée «Screening Rules», propose d’ignorer certaines variables pendant le processus d’optimisation en tirant bénéfice de la parcimonie attendue des solutions. Ces règles d’élimination sont dites sûres lorsqu’elles garantissent de ne pas rejeter les variables à tort. Nous proposons un cadre unifié pour identifier les structures importantes dans ces problèmes d’optimisation convexes et nous introduisons les règles «Gap Safe Screening Rules». Elles permettent d’obtenir des gains considérables en temps de calcul grâce à la réduction de la dimension induite par cette méthode. De plus, elles s’incorporent facilement aux algorithmes itératifs et s’appliquent à un plus grand nombre de problèmes que les méthodes précédentes.Pour trouver un bon compromis entre minimisation du risque et introduction d’un biais d’apprentissage, les algorithmes d’homotopie offrent la possibilité de tracer la courbe des solutions en fonction du paramètre de régularisation. Toutefois, ils présentent des instabilités numériques dues à plusieurs inversions de matrice, et sont souvent coûteux en grande dimension. Aussi, ils ont des complexités exponentielles en la dimension du modèle dans des cas défavorables. En autorisant des solutions approchées, une approximation de la courbe des solutions permet de contourner les inconvénients susmentionnés. Nous revisitons les techniques d’approximation des chemins de régularisation pour une tolérance prédéfinie, et nous analysons leur complexité en fonction de la régularité des fonctions de perte en jeu. Il s’ensuit une proposition d’algorithmes optimaux ainsi que diverses stratégies d’exploration de l’espace des paramètres. Ceci permet de proposer une méthode de calibration de la régularisation avec une garantie de convergence globale pour la minimisation du risque empirique sur les données de validation.Le Lasso, un des estimateurs parcimonieux les plus célèbres et les plus étudiés, repose sur une théorie statistique qui suggère de choisir la régularisation en fonction de la variance des observations. Ceci est difficilement utilisable en pratique car, la variance du modèle est une quantité souvent inconnue. Dans de tels cas, il est possible d’optimiser conjointement les coefficients de régression et le niveau de bruit. Ces estimations concomitantes, apparues dans la littérature sous les noms de Scaled Lasso, Square-Root Lasso, fournissent des résultats théoriques aussi satisfaisants que celui du Lasso tout en étant indépendant de la variance réelle. Bien que présentant des avancées théoriques et pratiques importantes, ces méthodes sont aussi numériquement instables et les algorithmes actuellement disponibles sont coûteux en temps de calcul. Nous illustrons ces difficultés et nous proposons à la fois des modifications basées sur des techniques de lissage pour accroitre la stabilité numérique de ces estimateurs, ainsi qu’un algorithme plus efficace pour les obtenir. / Massive and automatic data processing requires the development of techniques able to filter the most important information. Among these methods, those with sparse structures have been shown to improve the statistical and computational efficiency of estimators in a context of large dimension. They can often be expressed as a solution of regularized empirical risk minimization and generally lead to non differentiable optimization problems in the form of a sum of a smooth term, measuring the quality of the fit, and a non-smooth term, penalizing complex solutions. Although it has considerable advantages, such a way of including prior information, unfortunately introduces many numerical difficulties both for solving the underlying optimization problem and to calibrate the level of regularization. Solving these issues has been at the heart of this thesis. A recently introduced technique, called "Screening Rules", proposes to ignore some variables during the optimization process by benefiting from the expected sparsity of the solutions. These elimination rules are said to be safe when the procedure guarantees to not reject any variable wrongly. In this work, we propose a unified framework for identifying important structures in these convex optimization problems and we introduce the "Gap Safe Screening Rules". They allows to obtain significant gains in computational time thanks to the dimensionality reduction induced by this method. In addition, they can be easily inserted into iterative algorithms and apply to a large number of problems.To find a good compromise between minimizing risk and introducing a learning bias, (exact) homotopy continuation algorithms offer the possibility of tracking the curve of the solutions as a function of the regularization parameters. However, they exhibit numerical instabilities due to several matrix inversions and are often expensive in large dimension. Another weakness is that a worst-case analysis shows that they have exact complexities that are exponential in the dimension of the model parameter. Allowing approximated solutions makes possible to circumvent the aforementioned drawbacks by approximating the curve of the solutions. In this thesis, we revisit the approximation techniques of the regularization paths given a predefined tolerance and we propose an in-depth analysis of their complexity w.r.t. the regularity of the loss functions involved. Hence, we propose optimal algorithms as well as various strategies for exploring the parameters space. We also provide calibration method (for the regularization parameter) that enjoys globalconvergence guarantees for the minimization of the empirical risk on the validation data.Among sparse regularization methods, the Lasso is one of the most celebrated and studied. Its statistical theory suggests choosing the level of regularization according to the amount of variance in the observations, which is difficult to use in practice because the variance of the model is oftenan unknown quantity. In such case, it is possible to jointly optimize the regression parameter as well as the level of noise. These concomitant estimates, appeared in the literature under the names of Scaled Lasso or Square-Root Lasso, and provide theoretical results as sharp as that of theLasso while being independent of the actual noise level of the observations. Although presenting important advances, these methods are numerically unstable and the currently available algorithms are expensive in computation time. We illustrate these difficulties and we propose modifications based on smoothing techniques to increase stability of these estimators as well as to introduce a faster algorithm.
|
75 |
Beyond top line metrics : understanding the trade-off between model size and generalization propertiesHooker, Sara 10 1900 (has links)
Dans cette thèse, les travaux constitutifs demandent "Qu'est-ce qui est gagné ou perdu lorsque nous faisons varier le nombre de paramètres ?". Cette question est de plus en plus pertinente à l'ère de la recherche scientifique où la mise à l'échelle des réseaux est une recette largement utilisée pour garantir des gains de performance, mais où l'on ne comprend pas bien comment les changements de capacité modifient les propriétés de généralisation.
Cette thèse mesure la généralisation selon plusieurs dimensions différentes, englobées par des questions telles que \textit{``Certains types d'exemples ou de classes sont-ils affectés de manière disproportionnée par la compression ?''} et \textit{``La variation du nombre de poids amplifie-t-elle la sensibilité aux erreurs corrompues ? contributions?''}. Pour explorer l'impact de la variation du nombre de poids, nous exploitons l'élagage - une classe de techniques de compression largement utilisée qui introduit un niveau de parcimonie des poids. Cela nous permet de faire varier précisément le nombre de poids apprenables dans les réseaux que nous comparons.
Nous constatons à la fois dans la computer vision et dans NLP, à travers différents ensembles de données et tâches, que la parcimonie amplifie l'impact disparate sur les performances du modèle entre les sous-groupes de données minoritaires et majoritaires, de sorte que les \textit{les riches deviennent plus riches et les pauvres s'appauvrissent}. Même si l’erreur moyenne globale reste largement inchangée lorsqu’un modèle est compressé, les attributs sous-représentés encourent une part disproportionnée de l’erreur. Les modèles clairsemés \emph{cannibalisent} les performances sur les attributs protégés sous-représentés pour préserver les performances sur les attributs majoritaires. La compression amplifie également la sensibilité à certains types de perturbations. Nous trouvons également quelques mises en garde importantes : dans les contextes à faibles ressources où les données sont très spécialisées et distinctes des tâches en aval, la rareté aide en freinant la mémorisation et en induisant l'apprentissage d'une représentation plus générale.
Les travaux inclus dans cette thèse suggèrent qu'il existe des rendements clairement décroissants pour une formule simple de paramètres d'échelle. Nos résultats ont de puissantes implications : la plupart des paramètres apprenables sont utilisés pour apprendre un ensemble de points de données qui portent une part disproportionnée de l'erreur. Nous appelons ces points de données Pruning Identified Exemplars (\texttt{PIEs}). Nous constatons que la majorité des poids sont nécessaires pour améliorer les performances sur ce petit sous-ensemble de la distribution de l’entraînement. Cela suggère qu'une petite fraction de la distribution de formation a un \textit{coût par capacité de données} beaucoup plus élevé.
Cohérents dans tous les chapitres de cette thèse, nos résultats soutiennent la recommandation selon laquelle les modèles clairsemés doivent être soigneusement audités avant d'être déployés à grande échelle. L’un des principaux points à retenir de notre travail est que nos algorithmes ne sont pas impartiaux et que certains choix de conception peuvent amplifier les dommages. Il est essentiel de comprendre cet impact disparate compte tenu du déploiement généralisé de modèles compressés dans la nature. Nos résultats soutiennent la recommandation selon laquelle les modèles compressés font l'objet d'un audit supplémentaire avant leur déploiement dans la nature. / In this thesis, the constituent works ask “What is gained or lost as we vary the number of
parameters?”. This question is increasingly relevant in an era of scientific inquiry where
scaling networks is a widely used recipe to secure gains in performance but where there is
not a good understanding of how changes in capacity alter generalization properties.
This thesis measures generalization along several different dimensions, encompassed by
questions such as “Are certain types of examples or classes disproportionately impacted by
compression?” and “Does varying the number of weights amplify sensitivity to corrupted
inputs?”. To explore the impact of varying the number of weights, we leverage pruning – a
widely used class of compression techniques that introduce weight-level sparsity.
We find in both computer vision and language settings, across different datasets and tasks
that sparsity amplifies the disparate impact in model performance between minority and
majority data subgroups such that the rich get richer and the poor get poorer. While the
overall average error is largely unchanged when a model is compressed, underrepresented
attributes incur a disproportionately high portion of the error.
The work included in this thesis suggests that there are clearly decreasing returns to a
simple formula of scaling parameters. Most learnable parameters are used to learn a set
of data points which bears a disproportionately high portion of the error. We term these
data points Pruning Identified Exemplars (PIEs). This suggests that a small fraction of the
training distribution has a far higher per-data capacity cost.
Consistent across all chapters of this thesis, our results support the finding that popular
compression techniques are not impartial and can amplify harm. Our results support the
recommendation that compressed models receive additional auditing scrutiny prior to
deployment in the wild.
|
76 |
Nouvelles méthodes de représentations parcimonieuses ; application à la compression et l'indexation d'imagesZepeda Salvatierra, Joaquin 28 October 2010 (has links) (PDF)
Une nouvelle structure de dictionnaire adaptés aux décompositions itératives de type poursuite, appelée un Iteration-Tuned Dictionary (ITD), est présentée. Les ITDs sont structurés en couche, chaque couche se composant d'un ensemble de dictionnaires candidats. Les décompositions itératives basées ITD sont alors réalisées en sélectionnant, à chaque itération i, l'un des dictionnaires de la i-ième couche. Une structure générale des ITDs est proposée, ainsi qu'une variante structurée en arbre appelée Tree-Structured Iteration-Tuned Dictionary (TSITD) et une version contrainte de cette dernière, appelée Iteration-Tuned and Aligned Dictionary (ITAD). Ces structures sont comparées à plusieurs méthodes de l'état de l'art et évaluées dans des applications de débruitage et de compression d'images. Un codec basé sur le schéma ITAD est également présenté et comparé à JPEG2000 dans des évaluations qualitatives et quantitatives. Dans le contexte de l'indexation d'images, un nouveau système de recherche approximative des plus proches voisins est également introduit, qui utilise les représentations parcimonieuses pour réduire la complexité de la recherche. La méthode traite l'instabilité dans la sélection des atomes lorsque l'image est soumise à de faibles transformations affines. Un nouveau système de conditionnement des données est également introduit, permettant de mieux distribuer les données sur la sphère unitaire tout en préservant leurs distances angulaires relatives. Il est montré que cette méthode améliore le compromis complexité/performance de la recherche approximative basée décompositions parcimonieuses.
|
77 |
Agrégation d'estimateurs et de classificateurs : théorie et méthodesGuedj, Benjamin 04 December 2013 (has links) (PDF)
Ce manuscrit de thèse est consacré à l'étude des propriétés théoriques et méthodologiques de différentes procédures d'agrégation d'estimateurs. Un premier ensemble de résultats vise à étendre la théorie PAC-bayésienne au contexte de la grande dimension, dans les modèles de régression additive et logistique. Nous prouvons dans ce contexte l'optimalité, au sens minimax et à un terme logarithmique près, de nos estimateurs. La mise en \oe uvre pratique de cette stratégie, par des techniques MCMC, est étayée par des simulations numériques. Dans un second temps, nous introduisons une stratégie originale d'agrégation non linéaire d'estimateurs de la fonction de régression. Les qualités théoriques et pratiques de cette approche --- dénommée COBRA --- sont étudiées, et illustrées sur données simulées et réelles. Enfin, nous présentons une modélisation bayésienne --- et l'implémentation MCMC correspondante --- d'un problème de génétique des populations. Les différentes approches développées dans ce document sont toutes librement téléchargeables depuis le site de l'auteur.
|
78 |
A Signal Processing Approach to Voltage-Sensitive Dye Optical Imaging / Une approche mathématique de l'imagerie optique par colorant potentiométriqueRaguet, Hugo 22 September 2014 (has links)
L’imagerie optique par colorant potentiométrique est une méthode d’enregistrement de l’activité corticale prometteuse, mais dont le potentiel réel est limité par la présence d’artefacts et d’interférences dans les acquisitions. À partir de modèles existant dans la littérature, nous proposons un modèle génératif du signal basé sur un mélange additif de composantes, chacune contrainte dans une union d’espaces linéaires déterminés par son origine biophysique. Motivés par le problème de séparation de composantes qui en découle, qui est un problème inverse linéaire sous-déterminé, nous développons : (1) des régularisations convexes structurées spatialement, favorisant en particulier des solutions parcimonieuses ; (2) un nouvel algorithme proximal de premier ordre pour minimiser efficacement la fonctionnelle qui en résulte ; (3) des méthodes statistiques de sélection de paramètre basées sur l’estimateur non biaisé du risque de Stein. Nous étudions ces outils dans un cadre général, et discutons leur utilité pour de nombreux domaines des mathématiques appliqués, en particulier pour les problèmes inverses ou de régression en grande dimension. Nous développons par la suite un logiciel de séparation de composantes en présence de bruit, dans un environnement intégré adapté à l’imagerie optique par colorant potentiométrique. Finalement, nous évaluons ce logiciel sur différentes données, synthétiques et réelles, montrant des résultats encourageants quant à la possibilité d’observer des dynamiques corticales complexes. / Voltage-sensitive dye optical imaging is a promising recording modality for the cortical activity, but its practical potential is limited by many artefacts and interferences in the acquisitions. Inspired by existing models in the literature, we propose a generative model of the signal, based on an additive mixtures of components, each one being constrained within an union of linear spaces, determined by its biophysical origin. Motivated by the resulting component separation problem, which is an underdetermined linear inverse problem, we develop: (1) convex, spatially structured regularizations, enforcing in particular sparsity on the solutions; (2) a new rst-order proximal algorithm for minimizing e›ciently the resulting functional; (3) statistical methods for automatic parameters selection, based on Stein’s unbiased risk estimate.We study thosemethods in a general framework, and discuss their potential applications in variouselds of applied mathematics, in particular for large scale inverse problems or regressions. We develop subsequently a soŸware for noisy component separation, in an integrated environment adapted to voltage-sensitive dye optical imaging. Finally, we evaluate this soŸware on dišerent data set, including synthetic and real data, showing encouraging perspectives for the observation of complex cortical dynamics.
|
79 |
Algorithmes bayésiens variationnels accélérés et applications aux problèmes inverses de grande taille / Fast variational Bayesian algorithms and their application to large dimensional inverse problemsZheng, Yuling 04 December 2014 (has links)
Dans le cadre de cette thèse, notre préoccupation principale est de développer des approches non supervisées permettant de résoudre des problèmes de grande taille le plus efficacement possible. Pour ce faire, nous avons considéré des approches bayésiennes qui permettent d'estimer conjointement les paramètres de la méthode avec l'objet d'intérêt. Dans ce cadre, la difficulté principale est que la loi a posteriori est en général complexe. Pour résoudre ce problème, nous nous sommes intéressés à l'approximation bayésienne variationnelle (BV) qui offre une approximation séparable de la loi a posteriori. Néanmoins, les méthodes d’approximation BV classiques souffrent d’une vitesse de convergence faible. La première contribution de cette thèse consiste à transposer les méthodes d'optimisation par sous-espace dans l'espace fonctionnel impliqué dans le cadre BV, ce qui nous permet de proposer une nouvelle méthode d'approximation BV. Nous avons montré l’efficacité de notre nouvelle méthode par les comparaisons avec les approches de l’état de l’art.Nous avons voulu ensuite confronter notre nouvelle méthodologie à des problèmes de traitement d'images de grande taille. De plus nous avons voulu favoriser les images régulières par morceau. Nous avons donc considéré un a priori de Variation Total (TV) et un autre a priori à variables cachées ressemblant à un mélange scalaire de gaussiennes par changement de positions. Avec ces deux modèles a priori, en appliquant notre méthode d’approximation BV, nous avons développé deux approches non-supervisées rapides et bien adaptées aux images régulières par morceau.En effet, les deux lois a priori introduites précédemment sont corrélées ce qui rend l'estimation des paramètres de méthode très compliquée : nous sommes souvent confronté à une fonction de partition non explicite. Pour contourner ce problème, nous avons considéré ensuite de travailler dans le domaine des ondelettes. Comme les coefficients d'ondelettes des images naturelles sont généralement parcimonieux, nous avons considéré des lois de la famille de mélange scalaire de gaussiennes par changement d'échelle (GSM) pour décrire la parcimonie. Une autre contribution est donc de développer une approche non-supervisée pour les lois de la famille GSM dont la densité est explicitement connue, en utilisant la méthode d'approximation BV proposée. / In this thesis, our main objective is to develop efficient unsupervised approaches for large dimensional problems. To do this, we consider Bayesian approaches, which allow us to jointly estimate regularization parameters and the object of interest. In this context, the main difficulty is that the posterior distribution is generally complex. To tackle this problem, we consider variational Bayesian (VB) approximation, which provides a separable approximation of the posterior distribution. Nevertheless, classical VB methods suffer from slow convergence speed. The first contribution of this thesis is to transpose the subspace optimization methods to the functional space involved in VB framework, which allows us to propose a new VB approximation method. We have shown the efficiency of the proposed method by comparisons with the state of the art approaches. Then we consider the application of our new methodology to large dimensional problems in image processing. Moreover, we are interested in piecewise smooth images. As a result, we have considered a Total Variation (TV) prior and a Gaussian location mixture-like hidden variable model. With these two priors, using our VB approximation method, we have developed two fast unsupervised approaches well adapted to piecewise smooth images.In fact, the priors introduced above are correlated which makes the estimation of regularization parameters very complicated: we often have a non-explicit partition function. To sidestep this problem, we have considered working in the wavelet domain. As the wavelet coefficients of natural images are generally sparse, we considered prior distributions of the Gaussian scale mixture family to enforce sparsity. Another contribution is therefore the development of an unsupervised approach for a prior distribution of the GSM family whose density is explicitly known, using the proposed VB approximation method.
|
80 |
Approche bayésienne pour la localisation de sources en imagerie acoustique / Bayesian approach in acoustic source localization and imagingChu, Ning 22 November 2013 (has links)
L’imagerie acoustique est une technique performante pour la localisation et la reconstruction de puissance des sources acoustiques en utilisant des mesures limitées au réseau des microphones. Elle est largement utilisée pour évaluer l’influence acoustique dans l’industrie automobile et aéronautique. Les méthodes d’imagerie acoustique impliquent souvent un modèle direct de propagation acoustique et l’inversion de ce modèle direct. Cependant, cette inversion provoque généralement un problème inverse mal-posé. Par conséquent, les méthodes classiques ne permettent d’obtenir de manière satisfaisante ni une haute résolution spatiale, ni une dynamique large de la puissance acoustique. Dans cette thèse, nous avons tout d’abord nous avons créé un modèle direct discret de la puissance acoustique qui devient alors à la fois linéaire et déterminé pour les puissances acoustiques. Et nous ajoutons les erreurs de mesures que nous décomposons en trois parties : le bruit de fond du réseau de capteurs, l’incertitude du modèle causée par les propagations à multi-trajets et les erreurs d’approximation de la modélisation. Pour la résolution du problème inverse, nous avons tout d’abord proposé une approche d’hyper-résolution en utilisant une contrainte de parcimonie, de sorte que nous pouvons obtenir une plus haute résolution spatiale robuste à aux erreurs de mesures à condition que le paramètre de parcimonie soit estimé attentivement. Ensuite, afin d’obtenir une dynamique large et une plus forte robustesse aux bruits, nous avons proposé une approche basée sur une inférence bayésienne avec un a priori parcimonieux. Toutes les variables et paramètres inconnus peuvent être estimées par l’estimation du maximum a posteriori conjoint (JMAP). Toutefois, le JMAP souffrant d’une optimisation non-quadratique d’importants coûts de calcul, nous avons cherché des solutions d’accélération algorithmique: une approximation du modèle direct en utilisant une convolution 2D avec un noyau invariant. Grâce à ce modèle, nos approches peuvent être parallélisées sur des Graphics Processing Unit (GPU) . Par ailleurs, nous avons affiné notre modèle statistique sur 2 aspects : prise en compte de la non stationarité spatiale des erreurs de mesures et la définition d’une loi a priori pour les puissances renforçant la parcimonie en loi de Students-t. Enfin, nous ont poussé à mettre en place une Approximation Variationnelle Bayésienne (VBA). Cette approche permet non seulement d’obtenir toutes les estimations des inconnues, mais aussi de fournir des intervalles de confiance grâce aux paramètres cachés utilisés par les lois de Students-t. Pour conclure, nos approches ont été comparées avec des méthodes de l’état-de-l’art sur des données simulées, réelles (provenant d’essais en soufflerie chez Renault S2A) et hybrides. / Acoustic imaging is an advanced technique for acoustic source localization and power reconstruction using limited measurements at microphone sensor array. This technique can provide meaningful insights into performances, properties and mechanisms of acoustic sources. It has been widely used for evaluating the acoustic influence in automobile and aircraft industries. Acoustic imaging methods often involve in two aspects: a forward model of acoustic signal (power) propagation, and its inverse solution. However, the inversion usually causes a very ill-posed inverse problem, whose solution is not unique and is quite sensitive to measurement errors. Therefore, classical methods cannot easily obtain high spatial resolutions between two close sources, nor achieve wide dynamic range of acoustic source powers. In this thesis, we firstly build up a discrete forward model of acoustic signal propagation. This signal model is a linear but under-determined system of equations linking the measured data and unknown source signals. Based on this signal model, we set up a discrete forward model of acoustic power propagation. This power model is both linear and determined for source powers. In the forward models, we consider the measurement errors to be mainly composed of background noises at sensor array, model uncertainty caused by multi-path propagation, as well as model approximating errors. For the inverse problem of the acoustic power model, we firstly propose a robust super-resolution approach with the sparsity constraint, so that we can obtain very high spatial resolution in strong measurement errors. But the sparsity parameter should be carefully estimated for effective performance. Then for the acoustic imaging with large dynamic range and robustness, we propose a robust Bayesian inference approach with a sparsity enforcing prior: the double exponential law. This sparse prior can better embody the sparsity characteristic of source distribution than the sparsity constraint. All the unknown variables and parameters can be alternatively estimated by the Joint Maximum A Posterior (JMAP) estimation. However, this JMAP suffers a non-quadratic optimization and causes huge computational cost. So that we improve two following aspects: In order to accelerate the JMAP estimation, we investigate an invariant 2D convolution operator to approximate acoustic power propagation model. Owing to this invariant convolution model, our approaches can be parallelly implemented by the Graphics Processing Unit (GPU). Furthermore, we consider that measurement errors are spatially variant (non-stationary) at different sensors. In this more practical case, the distribution of measurement errors can be more accurately modeled by Students-t law which can express the variant variances by hidden parameters. Moreover, the sparsity enforcing distribution can be more conveniently described by the Student's-t law which can be decomposed into multivariate Gaussian and Gamma laws. However, the JMAP estimation risks to obtain so many unknown variables and hidden parameters. Therefore, we apply the Variational Bayesian Approximation (VBA) to overcome the JMAP drawbacks. One of the fabulous advantages of VBA is that it can not only achieve the parameter estimations, but also offer the confidential interval of interested parameters thanks to hidden parameters used in Students-t priors. To conclude, proposed approaches are validated by simulations, real data from wind tunnel experiments of Renault S2A, as well as the hybrid data. Compared with some typical state-of-the-art methods, the main advantages of proposed approaches are robust to measurement errors, super spatial resolutions, wide dynamic range and no need for source number nor Signal to Noise Ration (SNR) beforehand.
|
Page generated in 0.0508 seconds