In many real-world applications, it is common to have uneven number of examples among multiple classes. The data imbalance, however, usually complicates the learning process, especially for the minority classes, and results in deteriorated performance. Boosting methods were proposed to handle the imbalance problem. These methods need elongated training time and require diversity among the classifiers of the ensemble to achieve improved performance. Additionally, extending the boosting method to handle multi-class data sets is not straightforward. Examples of applications that suffer from imbalanced multi-class data can be found in face recognition, where tens of classes exist, and in capsule endoscopy, which suffers massive imbalance between the classes. This dissertation introduces RegBoost, a new boosting framework to address the imbalanced, multi-class problems. This method applies a weighted stratified sampling technique and incorporates a regularization term that accommodates multi-class data sets and automatically determines the error bound of each base classifier. The regularization parameter penalizes the classifier when it misclassifies instances that were correctly classified in the previous iteration. The parameter additionally reduces the bias towards majority classes. Experiments are conducted using 12 diverse data sets with moderate to high imbalance ratios. The results demonstrate superior performance of the proposed method compared to several state-of-the-art algorithms for imbalanced, multi-class classification problems. More importantly, the sensitivity improvement of the minority classes using RegBoost is accompanied with the improvement of the overall accuracy for all classes. With unpredictability regularization, a diverse group of classifiers are created and the maximum accuracy improvement reaches above 24%. Using stratified undersampling, RegBoost exhibits the best efficiency. The reduction in computational cost is significant reaching above 50%. As the volume of training data increase, the gain of efficiency with the proposed method becomes more significant.

No description available.

[pt] O presente trabalho apresenta uma nova forma de selecionar o parâmetro de regularização do LASSO e do adaLASSO. Ela é baseada na teoria e incorpora a estimativa da variância do ruído. Nós mostramos propriedades teóricas e simulações Monte Carlo que o nosso procedimento é capaz de lidar com mais variáveis no conjunto ativo do que outras opções populares para a escolha do parâmetro de regularização. / [en] We provide a new way to select the regularization parameter for the LASSO and adaLASSO. It is based on the theory and incorporates an estimate of the variance of the noise. We show theoretical properties of the procedure and Monte Carlo simulations showing that it is able to handle more variables in the active set than other popular options for the regularization parameter.

Dans le domaine de l'ingénierie, connaitre le chargement appliqué sur une structure permet de résoudre des problèmes directs dont le résultat est le champ de déplacement, de déformation dans une structure. Il est alors possible d'effectuer un dimensionnement. Cependant, parfois ce chargement doit être identifie a posteriori. Malheureusement, il n'est pas toujours possible de mesurer ce chargement : ainsi, par exemple, on ne sait pas a priori où aura lieu le chargement, ou bien il n'est pas possible de placer un capteur sans l'endommager ou encore il peut nécessiter un encombrement trop important. On a alors recours à des mesures indirectes de déplacement, de déformation, d'accélération et on est alors amené à résoudre des problèmes inverses, qui sont en général mal posés. Il est alors nécessaire d'ajouter une (des) conditions supplémentaire(s) pour obtenir une solution unique et stable : c'est la régularisation du problème. Ces techniques sont bien connues et leur essor est dû à l'utilisation des décompositions en valeurs singulières des matrices de transfert. Toutefois, elles nécessitent l'utilisation d'un paramètre additionnel qui pondère cette condition supplémentaire : la détermination de ce paramètre est délicate. Peu de travaux ayant été réalisé pour tester de façon intensive les méthodes usuelles de régularisation (Tikhonov et troncature de la (G)SVD), en association avec les différents critères de détermination du paramètre de régularisation et les différentes réponses possibles, on a effectué un tel travail pour tirer des conclusions sur la méthodologie optimale. On a pu mettre en évidence que la mesure de l'accélération associée à un critère faisant intervenir les dérivées du signal à reconstruire donne en général les meilleurs résultats sous réserve d'utiliser le critère GCV pour déterminer le paramètre de régularisation. Ces méthodes supposent que la localisation de la zone de chargement est connue. Aussi on s'est intéressé à déduire cette zone de chargement en tentant de reconstruire des chargements identiquement nuls. Cette identification a été effectuée aisément sous réserve qu'on ait peu de forces à identifier par rapport au nombre de mesures disponibles. En revanche une telle identification est délicate lorsqu'on n'a pas plus de mesures que de forces à identifier. Finalement on s'est tourné vers l'identification de chargement ayant plastifié la structure étudiée. On a alors essayé de reconstruire le chargement en supposant que la structure reste linéaire élastique, alors qu'elle a été plastifiée : on a utilisé la méthode du double chargement et effectue des simulations à l'aide du logiciel de simulation Ls-dyna.La force reconstruite fait alors apparaitre une composante statique traduisant la déformation résiduelle dans la structure. Dans ce cas, la réponse à utiliser pour identifier le chargement est une déformation dans une zone non plastifiée / In the field of the engineering, knowing the load applied on the structure which allows to solve the direct problem of which the results are given the field of displacement and strain in a structure. It is possible to perform a dimensioning. However, sometimes this load must be identified a posteriori. Unfortunately, it is not always possible to measure this load. Thus, for example, we do not know a priori where it will be loaded, either it is not possible to place a sensor without damaging it or needs too much space. We then have to use indirect measures of displacement, strain, acceleration and then we are lead to solve the inverse problems which are generally an ill-posed. It is then necessary to add one (or more) conditions to obtain a unique and stable solution: it is the regularization of the problem. These techniques are well known and their development is due to the use of the singular value decomposition of the transfer matrix. However, they require the use of an additional parameter that weights this additional condition: the determination of this parameter is difficult. Few studies having been realized in way the usual regularization methods of (Tikhonov and truncation of the (G)SVD), in association with the various criteria for determining the regularization parameter and the various possible responses, we conducted a such work, to draw conclusions on the optimal methodology. It has been highlighted that the measurement of the acceleration associated with a criterion involving the derived signal to reconstruct generally gives the best results via the GCV criterion to determine the regularization parameter. These methods suppose that the location of the loading area is known. We also were interested to deduct this loading area while trying to reconstruct load that is identically zero. This identification was performed easily that has little load to identify compared to the number of measurements available. However such identification is difficult when there are no more measures than loads to identify. Finally we turned to the identification of loading with the plastic structure. We then tried to reconstruct the load assuming that the structure remains linear-elastic, while it was plasticized: we used the method of the double load and performed simulations using the software ls-dyna. The reconstructed load then shows a static component reflecting the residual strain in the structure. In this case, the response used to identify the load is a strain in a non-plasticized zone

Une image hyperspectrale est un cube de données 3D dont chaque pixel fournit des informations spectrales locales sur un grand nombre de bandes contiguës sur une scène d'intérêt. Les images observées peuvent subir une dégradation due à l'instrument de mesure, avec pour conséquence l'apparition d'un flou sur les images qui se modélise par une opération de convolution. La déconvolution d'image hyperspectrale (HID) consiste à enlever le flou pour améliorer au mieux la résolution spatiale des images. Un critère de HID du type Tikhonov avec contrainte de non-négativité est proposé dans la thèse de Simon Henrot. Cette méthode considère les termes de régularisations spatiale et spectrale dont la force est contrôlée par deux paramètres de régularisation. La première partie de cette thèse propose le critère de courbure maximale MCC et le critère de distance minimum MDC pour estimer automatiquement ces paramètres de régularisation en formulant le problème de déconvolution comme un problème d'optimisation multi-objectif. La seconde partie de cette thèse propose l'algorithme de LMS avec un bloc lisant régularisé (SBR-LMS) pour la déconvolution en ligne des images hyperspectrales fournies par les systèmes de whiskbroom et pushbroom. L'algorithme proposé prend en compte la non-causalité du noyau de convolution et inclut des termes de régularisation non quadratiques tout en maintenant une complexité linéaire compatible avec le traitement en temps réel dans les applications industrielles. La troisième partie de cette thèse propose des méthodes de séparation-déconvolution conjointes basés sur le critère de Tikhonov en contextes hors-ligne ou en-ligne. L'ajout d'une contrainte de non-négativité permet d’améliorer leurs performances / A hyperspectral image is a 3D data cube in which every pixel provides local spectral information about a scene of interest across a large number of contiguous bands. The observed images may suffer from degradation due to the measuring device, resulting in a convolution or blurring of the images. Hyperspectral image deconvolution (HID) consists in removing the blurring to improve the spatial resolution of images at best. A Tikhonov-like HID criterion with non-negativity constraint is considered here. This method considers separable spatial and spectral regularization terms whose strength are controlled by two regularization parameters. First part of this thesis proposes the maximum curvature criterion MCC and the minimum distance criterion MDC to automatically estimate these regularization parameters by formulating the deconvolution problem as a multi-objective optimization problem. The second part of this thesis proposes the sliding block regularized (SBR-LMS) algorithm for the online deconvolution of hypserspectral images as provided by whiskbroom and pushbroom scanning systems. The proposed algorithm accounts for the convolution kernel non-causality and including non-quadratic regularization terms while maintaining a linear complexity compatible with real-time processing in industrial applications. The third part of this thesis proposes joint unmixing-deconvolution methods based on the Tikhonov criterion in both offline and online contexts. The non-negativity constraint is added to improve their performances

Nous proposons dans cette thèse de développer une méthode de restauration aveugle d'images flouées et bruitées où aucune connaissance a priori n'est exigée. Ce manuscrit est composé de trois chapitres : le 1er chapitre est consacré aux travaux de l'état de l'art. Les approches d'optimisation pour la résolution du problème de restauration y sont d'abord discutées. Ensuite les principales méthodes de restauration, dites semi-aveugles car nécessitant un minimum de connaissance a priori sont analysées. Parmi ces méthodes, cinq sont retenues pour évaluation. Le 2ème chapitre est dédié à la comparaison des performances des méthodes retenues dans le chapitre précédent. Les principaux critères objectifs d'évaluation de la qualité des images restaurées sont présentés. Parmi ces critères, la norme L1 de l'erreur d'estimation est sélectionnée. L'étude comparative menée sur une banque d'images monochromes, dégradées artificiellement par deux fonctions floues de supports différents et trois niveaux de bruit a permis de mettre en évidence les deux méthodes les plus pertinentes. La première repose sur une approche alternée mono-échelle où la PSF et l'image sont estimées dans une seule étape. La seconde utilise une approche hybride multi-échelle qui consiste tout d'abord à estimer de manière alternée la PSF et une image latente, puis dans une étape suivante séquentielle, à restaurer l'image. Dans l'étude comparative conduite, l'avantage revient à cette dernière. Les performances de ces méthodes serviront de référence pour comparer ensuite la méthode développée. Le 3ème chapitre porte sur la méthode développée. Nous avons cherché à rendre aveugle l'approche hybride retenue dans le chapitre précédent tout en améliorant la qualité d'estimation de la PSF et de l'image restaurée. Les contributions ont porté sur plusieurs points. Une première série d'améliorations concerne la redéfinition des échelles, celle de l'initialisation de l'image latente à chaque niveau d'échelle, l'évolution des paramètres pour la sélection des contours pertinents servant de support à l'estimation de la PSF et enfin, la définition d'un critère d'arrêt aveugle. Une seconde série de contributions a porté sur l'estimation aveugle des deux paramètres de régularisation impliqués pour éviter d'avoir à les fixer empiriquement. Chaque paramètre est associé à une fonction coût distincte l'une pour l'estimation de la PSF et la seconde pour l'estimation d'une image latente. Dans l'étape séquentielle qui suit, nous avons cherché à affiner le support de la PSF estimée dans l'étape alternée, avant de l'exploiter dans le processus de restauration de l'image. A ce niveau, la seule connaissance a priori nécessaire est une borne supérieure du support de la PSF. Les différentes évaluations conduites sur des images monochromes et hyperspectrales dégradées artificiellement par plusieurs flous de type mouvement, de supports différents, montrent une nette amélioration de la qualité de restauration obtenue par l'approche développée par rapport aux deux meilleures approches de l'état de l'art retenues. / We propose in this thesis manuscript to develop a blind restoration method of single component blurred and noisy images where no prior knowledge is required. This manuscript is composed of three chapters: the first chapter focuses on state-of-art works. The optimization approaches for resolving the restoration problem are discussed first. Then, the main methods of restoration, so-called semi-blind ones because requiring a minimum of a priori knowledge are analysed. Five of these methods are selected for evaluation. The second chapter is devoted to comparing the performance of the methods selected in the previous chapter. The main objective criteria for evaluating the quality of the restored images are presented. Of these criteria, the l1 norm for the estimation error is selected. The comparative study conducted on a database of monochromatic images, artificially degraded by two blurred functions with different support size and three levels of noise, revealed the most two relevant methods. The first one is based on a single-scale alternating approach where both the PSF and the image are estimated alternatively. The second one uses a multi-scale hybrid approach, which consists first of alternatingly estimating the PSF and a latent image, then in a sequential next step, restoring the image. In the comparative study performed, the benefit goes to the latter. The performance of both these methods will be used as references to then compare the newly designed method. The third chapter deals with the developed method. We have sought to make the hybrid approach retained in the previous chapter as blind as possible while improving the quality of estimation of both the PSF and the restored image. The contributions covers a number of points. A first series concerns the redefinition of the scales that of the initialization of the latent image at each scale level, the evolution of the parameters for the selection of the relevant contours supporting the estimation of the PSF and finally the definition of a blind stop criterion. A second series of contributions concentrates on the blind estimation of the two regularization parameters involved in order to avoid having to fix them empirically. Each parameter is associated with a separate cost function either for the PSF estimation or for the estimation of a latent image. In the sequential step that follows, we refine the estimation of the support of the PSF estimated in the previous alternated step, before exploiting it in the process of restoring the image. At this level, the only a priori knowledge necessary is a higher bound of the support of the PSF. The different evaluations performed on monochromatic and hyperspectral images artificially degraded by several motion-type blurs with different support sizes, show a clear improvement in the quality of restoration obtained by the newly designed method in comparison to the best two state-of-the-art methods retained.

Cette thèse aborde le démélange en-ligne d’images hyperspectrales acquises par un imageur pushbroom, pour la caractérisation en temps réel du matériau bois. La première partie de cette thèse propose un modèle de mélange en-ligne fondé sur la factorisation en matrices non-négatives. À partir de ce modèle, trois algorithmes pour le démélange séquentiel en-ligne, fondés respectivement sur les règles de mise à jour multiplicatives, le gradient optimal de Nesterov et l’optimisation ADMM (Alternating Direction Method of Multipliers) sont développés. Ces algorithmes sont spécialement conçus pour réaliser le démélange en temps réel, au rythme d'acquisition de l'imageur pushbroom. Afin de régulariser le problème d’estimation (généralement mal posé), deux sortes de contraintes sur les endmembers sont utilisées : une contrainte de dispersion minimale ainsi qu’une contrainte de volume minimal. Une méthode pour l’estimation automatique du paramètre de régularisation est également proposée, en reformulant le problème de démélange hyperspectral en-ligne comme un problème d’optimisation bi-objectif. Dans la seconde partie de cette thèse, nous proposons une approche permettant de gérer la variation du nombre de sources, i.e. le rang de la décomposition, au cours du traitement. Les algorithmes en-ligne préalablement développés sont ainsi modifiés, en introduisant une étape d’apprentissage d’une bibliothèque hyperspectrale, ainsi que des pénalités de parcimonie permettant de sélectionner uniquement les sources actives. Enfin, la troisième partie de ces travaux consiste en l’application de nos approches à la détection et à la classification des singularités du matériau bois. / This PhD dissertation addresses the problem of on-line unmixing of hyperspectral images acquired by a pushbroom imaging system, for real-time characterization of wood. The first part of this work proposes an on-line mixing model based on non-negative matrix factorization. Based on this model, three algorithms for on-line sequential unmixing, using multiplicative update rules, the Nesterov optimal gradient and the ADMM optimization (Alternating Direction Method of Multipliers), respectively, are developed. These algorithms are specially designed to perform the unmixing in real time, at the pushbroom imager acquisition rate. In order to regularize the estimation problem (generally ill-posed), two types of constraints on the endmembers are used: a minimum dispersion constraint and a minimum volume constraint. A method for the unsupervised estimation of the regularization parameter is also proposed, by reformulating the on-line hyperspectral unmixing problem as a bi-objective optimization. In the second part of this manuscript, we propose an approach for handling the variation in the number of sources, i.e. the rank of the decomposition, during the processing. Thus, the previously developed on-line algorithms are modified, by introducing a hyperspectral library learning stage as well as sparse constraints allowing to select only the active sources. Finally, the third part of this work consists in the application of these approaches to the detection and the classification of the singularities of wood.

Lors des dernières décennies, la Séparation Aveugle de Sources (BSS) est devenue un outil de premier plan pour le traitement de données multi-valuées. L’objectif de ce doctorat est cependant d’étudier les cas grande échelle, pour lesquels la plupart des algorithmes classiques obtiennent des performances dégradées. Ce document s’articule en quatre parties, traitant chacune un aspect du problème: i) l’introduction d’algorithmes robustes de BSS parcimonieuse ne nécessitant qu’un seul lancement (malgré un choix d’hyper-paramètres délicat) et fortement étayés mathématiquement; ii) la proposition d’une méthode permettant de maintenir une haute qualité de séparation malgré un nombre de sources important: iii) la modification d’un algorithme classique de BSS parcimonieuse pour l’application sur des données de grandes tailles; et iv) une extension au problème de BSS parcimonieuse non-linéaire. Les méthodes proposées ont été amplement testées, tant sur données simulées que réalistes, pour démontrer leur qualité. Des interprétations détaillées des résultats sont proposées. / During the last decades, Blind Source Separation (BSS) has become a key analysis tool to study multi-valued data. The objective of this thesis is however to focus on large-scale settings, for which most classical algorithms fail. More specifically, it is subdivided into four sub-problems taking their roots around the large-scale sparse BSS issue: i) introduce a mathematically sound robust sparse BSS algorithm which does not require any relaunch (despite a difficult hyper-parameter choice); ii) introduce a method being able to maintain high quality separations even when a large-number of sources needs to be estimated; iii) make a classical sparse BSS algorithm scalable to large-scale datasets; and iv) an extension to the non-linear sparse BSS problem. The methods we propose are extensively tested on both simulated and realistic experiments to demonstrate their quality. In-depth interpretations of the results are proposed.

This thesis deals with regularization parameter selection methods in the context of Tikhonov-type regularization with Poisson distributed data, in particular the reconstruction of images, as well as with the identification of the volatility surface from observed option prices. In Part I we examine the choice of the regularization parameter when reconstructing an image, which is disturbed by Poisson noise, with Tikhonov-type regularization. This type of regularization is a generalization of the classical Tikhonov regularization in the Banach space setting and often called variational regularization. After a general consideration of Tikhonov-type regularization for data corrupted by Poisson noise, we examine the methods for choosing the regularization parameter numerically on the basis of two test images and real PET data. In Part II we consider the estimation of the volatility function from observed call option prices with the explicit formula which has been derived by Dupire using the Black-Scholes partial differential equation. The option prices are only available as discrete noisy observations so that the main difficulty is the ill-posedness of the numerical differentiation. Finite difference schemes, as regularization by discretization of the inverse and ill-posed problem, do not overcome these difficulties when they are used to evaluate the partial derivatives. Therefore we construct an alternative algorithm based on the weak formulation of the dual Black-Scholes partial differential equation and evaluate the performance of the finite difference schemes and the new algorithm for synthetic and real option prices.

This thesis deals with regularization parameter selection methods in the context of Tikhonov-type regularization with Poisson distributed data, in particular the reconstruction of images, as well as with the identification of the volatility surface from observed option prices. In Part I we examine the choice of the regularization parameter when reconstructing an image, which is disturbed by Poisson noise, with Tikhonov-type regularization. This type of regularization is a generalization of the classical Tikhonov regularization in the Banach space setting and often called variational regularization. After a general consideration of Tikhonov-type regularization for data corrupted by Poisson noise, we examine the methods for choosing the regularization parameter numerically on the basis of two test images and real PET data. In Part II we consider the estimation of the volatility function from observed call option prices with the explicit formula which has been derived by Dupire using the Black-Scholes partial differential equation. The option prices are only available as discrete noisy observations so that the main difficulty is the ill-posedness of the numerical differentiation. Finite difference schemes, as regularization by discretization of the inverse and ill-posed problem, do not overcome these difficulties when they are used to evaluate the partial derivatives. Therefore we construct an alternative algorithm based on the weak formulation of the dual Black-Scholes partial differential equation and evaluate the performance of the finite difference schemes and the new algorithm for synthetic and real option prices.