Cette thèse s'articule autour des problèmes d'optimisation à grande échelle, et plus particulièrement autour des méthodes de factorisation matricielle sur des problèmes de grandes tailles. L'objectif des méthodes de factorisation de grandes matrices est d'extraire des variables latentes qui permettent d'expliquer les données dans un espace de dimension réduite. Nous nous sommes intéressés au domaine d'application de la recommandation et plus particulièrement au problème de prédiction de préférences d'utilisateurs.Dans une contribution, nous nous sommes intéressés à l'application de méthodes de factorisation dans un environnement de recommandation contextuelle et notamment dans un contexte social.Dans une seconde contribution, nous nous sommes intéressés au problème de sélection de modèle pour la factorisation où l'on cherche à déterminer de façon automatique le rang de la factorisation par estimation de risque.

Les particules fines troposphériques de diamètre aérodynamique inférieur à 2,5 µm (PM2.5) peuvent impacter la santé et les écosystèmes. Les aérosols inorganiques secondaires (AIS) et organiques (AO) contribuent fortement aux PM2.5. Pour comprendre leur formation et leur origine, une campagne d’1 an (août 2015 - juillet 2016) de mesures horaires de gaz précurseurs inorganiques et d’ions hydrosolubles particulaires a été menée sur un site urbain du nord de la France avec un MARGA 1S, complétées par les concentrations massiques en PM2.5, carbone suie, oxydes d’azote et éléments traces. Des niveaux élevés de nitrate d’ammonium (NA) ont été observés la nuit au printemps et de sulfate d’ammonium la journée en été. L’étude de la contribution des sources par le modèle PMF (Positive Matrix Factorization) a permis d’identifier 8 facteurs sources: 3 régionaux (riche en sulfates, riche en nitrates et marin) pour 73 à 78%, et 5 locaux (trafic, combustion de biomasse, fond industriel métallurgique, industrie locale et poussières minérales) (22-27%). De plus, un HR-ToF-AMS (spectromètre de masse à aérosols) et un SMPS (granulomètre) ont été utilisés lors d’une campagne intensive en hiver, afin de mieux documenter l’AO et la formation de nouvelles particules, respectivement. L’application du PMF aux spectres de masses d’AO a permis d’identifier 5 facteurs liés au trafic (15%), à la cuisson (11%), à la combustion de biomasse (25%), et à une oxydation plus ou moins forte de la matière organique (33% et 16%). Plusieurs événements nocturnes de formation de nouvelles particules impliquant les AIS, notamment du NA, ont été observés. / Tropospheric fine particles with aerodynamic diameters less than 2.5 µm (PM2.5) may impact health, climate and ecosystems. Secondary inorganic (SIA) and organic aerosols (OA) contribute largely to PM2.5. To understand their formation and origin, a 1-year campaign (August 2015 to July 2016) of inorganic precursor gases and PM2.5 water-soluble ions was performed at an hourly resolution at a suburban site in northern France using a MARGA 1S, complemented by mass concentrations of PM2.5, Black Carbon, nitrogen oxides and trace elements. The highest levels of ammonium nitrate (AN) and sulfate were observed at night in spring and during daytime in summer, respectively. A source apportionment study performed by positive matrix factorization (PMF) determined 8 source factors, 3 having a regional origin (sulfate-rich, nitrate-rich, marine) contributing to PM2.5 mass for 73-78%; and 5 a local one (road traffic, biomass combustion, metal industry background, local industry and dust) (22-27%). In addition, a HR-ToF-AMS (aerosol mass spectrometer) and a SMPS (particle sizer) were deployed during an intensive winter campaign, to gain further insight on OA composition and new particle formation, respectively. The application of PMF to the AMS OA mass spectra allowed identifying 5 source factors: hydrocarbon-like (15%), cooking-like (11%), oxidized biomass burning (25%), less- and more-oxidized oxygenated factors (16% and 33%, respectively). Combining the SMPS size distribution with the chemical speciation of the aerosols and precursor gases allowed the identification of nocturnal new particle formation (NPF) events associated to the formation of SIA, in particular AN.

L’imagerie hyperspectrale est un type d’imagerie émergent qui connaît un essor important depuis le début des années 2000. Grâce à une structure spectrale très fine qui produit un volume de donnée très important, elle apporte, par rapport à l’imagerie visible classique, un supplément d’information pouvant être mis à profit dans de nombreux domaines d’exploitation. Nous nous intéressons spécifiquement à la détection et l’analyse de changements entre deux images de la même scène, pour des applications orientées vers la défense.Au sein de ce manuscrit, nous commençons par présenter l’imagerie hyperspectrale et les contraintes associées à son utilisation pour des problématiques de défense. Nous présentons ensuite une méthode de détection et de classification de changements basée sur la recherche de directions spécifiques dans l’espace généré par le couple d’images, puis sur la fusion des directions proches. Nous cherchons ensuite à exploiter l’information obtenue sur les changements en nous intéressant aux possibilités de dé-mélange de séries temporelles d’images d’une même scène. Enfin, nous présentons un certain nombre d’extensions qui pourront être réalisées afin de généraliser ou améliorer les travaux présentés et nous concluons. / Hyperspectral imagery is an emerging imagery technology which has known a growing interest since the 2000’s. This technology allows an impressive growth of the data registered from a specific scene compared to classical RGB imagery. Indeed, although the spatial resolution is significantly lower, the spectral resolution is very small and the covered spectral area is very wide. We focus on change detection between two images of a given scene for defense oriented purposes.In the following, we start by introducing hyperspectral imagery and the specificity of its exploitation for defence purposes. We then present a change detection and analysis method based on the search for specifical directions in the space generated by the image couple, followed by a merging of the nearby directions. We then exploit this information focusing on theunmixing capabilities of multitemporal hyperspectral data. Finally, we will present a range of further works that could be done in relation with our work and conclude about it.

Cette thèse est consacrée au démixage en imagerie hyperspectrale en particulier dans le cas où des objets de petite taille sont présents dans la scène. Les images hyperspectrales contiennent une grande quantité d’information à la fois spectrale et spatiale, et chaque pixel peut être vu comme le spectre de réflexion de la zone imagée. Du fait de la faible résolution spatiale des capteurs le spectre de réflexion observé au niveau de chaque pixel est un mélange des spectres de réflexion de l’ensemble des composants imagés dans le pixel. Une problématique de ces images hyperspectrales est le démixage, qui consiste à décomposer l’image en une liste de spectres sources, appelés endmembers, correspondants aux spectres de réflexions des composants de la scène d’une part, et d’autre part la proportion de chacun de ces spectres source dans chaque pixel de l’image. De nombreuses méthodes de démixage existent mais leur efficacité reste amoindrie en présence de spectres sources dits rares (c’est-à-dire des spectres présents dans très peu de pixels, et souvent à un niveau subpixelique). Ces spectres rares correspondent à des composants présents en faibles quantités dans la scène et peuvent être vus comme des anomalies dont la détection est souvent cruciale pour certaines applications.Nous présentons dans un premier temps deux méthodes de détection des pixels rares dans une image, la première basée sur un seuillage de l’erreur de reconstruction après estimation des endmembers abondants, la seconde basée sur les coefficients de détails obtenus par la décomposition en ondelettes. Nous proposons ensuite une méthode de démixage adaptée au cas où une partie des endmembers sont connus a priori et montrons que cette méthode utilisée avec les méthodes de détection proposées permet le démixage des endmembers des pixels rares. Enfin nous étudions une méthode de rééchantillonnage basée sur la méthode du bootstrap pour amplifier le rôle de ces pixels rares et proposer des méthodes de démixage en présence d’objets de petite taille. / This thesis is devoted to the unmixing issue in hyperspectral images, especiallyin presence of small sized objects. Hyperspectral images contains an importantamount of both spectral and spatial information. Each pixel of the image canbe assimilated to the reflection spectra of the imaged scene. Due to sensors’ lowspatial resolution, the observed spectra are a mixture of the reflection spectraof the different materials present in the pixel. The unmixing issue consists inestimating those materials’ spectra, called endmembers, and their correspondingabundances in each pixel. Numerous unmixing methods have been proposed butthey fail when an endmembers is rare (that is to say an endmember present inonly a few of the pixels). We call rare pixels, pixels containing those endmembers.The presence of those rare endmembers can be seen as anomalies that we want todetect and unmix. In a first time, we present two detection methods to retrievethis anomalies. The first one use a thresholding criterion on the reconstructionerror from estimated dominant endmembers. The second one, is based on wavelettransform. Then we propose an unmixing method adapted when some endmembersare known a priori. This method is then used with the presented detectionmethod to propose an algorithm to unmix the rare pixels’ endmembers. Finally,we study the application of bootstrap resampling method to artificially upsamplerare pixels and propose unmixing methods in presence of small sized targets.

L’apprentissage par transfert consiste `a utiliser un jeu de taches pour influencerl’apprentissage et améliorer les performances sur une autre tache.Cependant, ce paradigme d’apprentissage peut en réalité gêner les performancessi les taches (sources et cibles) sont trop dissemblables. Un défipour l’apprentissage par transfert est donc de développer des approchesqui détectent et évitent le transfert négatif des connaissances utilisant tr`espeu d’informations sur la tache cible. Un cas particulier de ce type d’apprentissageest l’adaptation de domaine. C’est une situation o`u les tachessources et cibles sont identiques mais dans des domaines différents. Danscette thèse, nous proposons des approches adaptatives basées sur la factorisationmatricielle non-figurative permettant ainsi de trouver une représentationadéquate des données pour ce type d’apprentissage. En effet, unereprésentation utile rend généralement la structure latente dans les donnéesexplicite, et réduit souvent la dimensionnalité´e des données afin que d’autresméthodes de calcul puissent être appliquées. Nos contributions dans cettethèse s’articulent autour de deux dimensions complémentaires : théoriqueet pratique.Tout d’abord, nous avons propose deux méthodes différentes pour résoudrele problème de l’apprentissage par transfert non supervise´e bas´e sur destechniques de factorisation matricielle non-négative. La première méthodeutilise une procédure d’optimisation itérative qui vise `a aligner les matricesde noyaux calculées sur les bases des données provenant de deux taches.La seconde représente une approche linéaire qui tente de découvrir unplongement pour les deux taches minimisant la distance entre les distributionsde probabilité correspondantes, tout en préservant la propriété depositivité.Nous avons également propos´e un cadre théorique bas´e sur les plongementsHilbert-Schmidt. Cela nous permet d’améliorer les résultats théoriquesde l’adaptation au domaine, en introduisant une mesure de distancenaturelle et intuitive avec de fortes garanties de calcul pour son estimation.Les résultats propos´es combinent l’etancheite des bornes de la théoried’apprentissage de Rademacher tout en assurant l’estimation efficace deses facteurs cl´es.Les contributions théoriques et algorithmiques proposées ont et évaluéessur un ensemble de données de référence dans le domaine avec des résultatsprometteurs. / The ability of a human being to extrapolate previously gained knowledge to other domains inspired a new family of methods in machine learning called transfer learning. Transfer learning is often based on the assumption that objects in both target and source domains share some common feature and/or data space. If this assumption is false, most of transfer learning algorithms are likely to fail. In this thesis we propose to investigate the problem of transfer learning from both theoretical and applicational points of view.First, we present two different methods to solve the problem of unsuper-vised transfer learning based on Non-negative matrix factorization tech-niques. First one proceeds using an iterative optimization procedure that aims at aligning the kernel matrices calculated based on the data from two tasks. Second one represents a linear approach that aims at discovering an embedding for two tasks that decreases the distance between the cor-responding probability distributions while preserving the non-negativity property.We also introduce a theoretical framework based on the Hilbert-Schmidt embeddings that allows us to improve the current state-of-the-art theo-retical results on transfer learning by introducing a natural and intuitive distance measure with strong computational guarantees for its estimation. The proposed results combine the tightness of data-dependent bounds de-rived from Rademacher learning theory while ensuring the efficient esti-mation of its key factors.Both theoretical contributions and the proposed methods were evaluated on a benchmark computer vision data set with promising results. Finally, we believe that the research direction chosen in this thesis may have fruit-ful implications in the nearest future.

Les matrices, en tant que représentations des applications linéaires en dimension finie, jouent un rôle central en traitement du signal et des images et en apprentissage automatique. L'application d'une matrice de rang plein à un vecteur implique a priori un nombre d'opérations arithmétiques de l'ordre du nombre d'entrées non-nulles que contient la matrice. Cependant, il existe des matrices pouvant être appliquées bien plus rapidement, cette propriété étant d'ailleurs un des fondements du succès de certaines transformations linéaires, telles que la transformée de Fourier ou la transformée en ondelettes. Quelle est cette propriété? Est-elle vérifiable aisément? Peut-on approcher des matrices quelconques par des matrices ayant cette propriété? Peut-on estimer des matrices ayant cette propriété? La thèse s'attaque à ces questions en explorant des applications telles que l'apprentissage de dictionnaire à implémentation efficace, l'accélération des itérations d'algorithmes de résolution de de problèmes inverses pour la localisation de sources, ou l'analyse de Fourier rapide sur graphe. / Matrices, as natural representation of linear mappings in finite dimension, play a crucial role in signal processing and machine learning. Multiplying a vector by a full rank matrix a priori costs of the order of the number of non-zero entries in the matrix, in terms of arithmetic operations. However, matrices exist that can be applied much faster, this property being crucial to the success of certain linear transformations, such as the Fourier transform or the wavelet transform. What is the property that allows these matrices to be applied rapidly ? Is it easy to verify ? Can weapproximate matrices with ones having this property ? Can we estimate matrices having this property ? This thesis investigates these questions, exploring applications such as learning dictionaries with efficient implementations, accelerating the resolution of inverse problems or Fast Fourier Transform on graphs.

Cette thèse s'articule autour des problèmes d'optimisation à grande échelle, et plus particulièrement autour des méthodes de factorisation matricielle sur des problèmes de grandes tailles. L'objectif des méthodes de factorisation de grandes matrices est d'extraire des variables latentes qui permettent d'expliquer les données dans un espace de dimension réduite. Nous nous sommes intéressés au domaine d'application de la recommandation et plus particulièrement au problème de prédiction de préférences d'utilisateurs.Dans une contribution, nous nous sommes intéressés à l'application de méthodes de factorisation dans un environnement de recommandation contextuelle et notamment dans un contexte social.Dans une seconde contribution, nous nous sommes intéressés au problème de sélection de modèle pour la factorisation où l'on cherche à déterminer de façon automatique le rang de la factorisation par estimation de risque. / This thesis focuses on large scale optimization problems and especially on matrix factorization methods for large scale problems. The purpose of such methods is to extract some latent variables which will explain the data in smaller dimension space. We use our methods to address the problem of preference prediction in the framework of the recommender systems. Our first contribution focuses on matrix factorization methods applied in context-aware recommender systems problems, and particularly in socially-aware recommandation.We also address the problem of model selection for matrix factorization which ails to automatically determine the rank of the factorization.

Le démélange de sources pour la pollution de l'air peut être formulé comme un problème de NMF en décomposant la matrice d'observation X en le produit de deux matrices non négatives G et F, respectivement la matrice de contributions et de profils. Généralement, les données chimiques sont entâchées d'une part de données aberrantes. En dépit de l'intérêt de la communauté pour les méthodes de NMF, elles souffrent d'un manque de robustesse à un faible nombre de données aberrantes et aux conditions initiales et elles fournissent habituellement de multiples minimas. En conséquence, cette thèse est orientée d'une part vers les méthodes de NMF robustes et d'autre part vers les NMF informées qui utilisent une connaissance experte particulière. Deux types de connaissances sont introduites dans la matrice de profil F. La première hypothèse est la connaissance exacte de certaines composantes de la matrice F tandis que la deuxième information utilise la propriété de somme-à-1 de chaque ligne de la matrice F. Une paramétrisation qui tient compte de ces deux informations est développée et des règles de mise à jour dans le sous-espace des contraintes sont proposées. L'application cible qui consiste à identifier les sources de particules dans l'air dans la région côtière du nord de la France montre la pertinence des méthodes proposées. Dans la série d'expériences menées sur des données synthétiques et réelles, l'effet et la pertinence des différentes informations sont mises en évidence et rendent les résultats de factorisation plus fiables. / Source apportionment for air pollution may be formulated as a NMF problem by decomposing the data matrix X into a matrix product of two factors G and F, respectively the contribution matrix and the profile matrix. Usually, chemical data are corrupted with a significant proportion of abnormal data. Despite the interest for the community for NMF methods, they suffer from a lack of robustness to a few abnormal data and to initial conditions and they generally provide multiple minima. To this end, this thesis is oriented on one hand towards robust NMF methods and on the other hand on informed NMF by using some specific prior knowledge. Two types of knowlodge are introduced on the profile matrix F. The first assumption is the exact knowledge on some of flexible components of matrix F and the second hypothesis is the sum-to-1 constraint on each row of the matrix F. A parametrization able to deal with both information is developed and update rules are proposed in the space of constraints at each iteration. These formulations have been appliede to two kind of robust cost functions, namely, the weighted Huber cost function and the weighted αβ divergence. The target application-namely, identify the sources of particulate matter in the air in the coastal area of northern France - shows relevance of the proposed methods. In the numerous experiments conducted on both synthetic and real data, the effect and the relevance of the different information is highlighted to make the factorization results more reliable.

The cross section of the diffractive process e+p → e+Xp is measured at a centre-of-mass energies of 319 GeV, where the system X contains at least two jets and the leading final state proton p is detected in the H1 Very Forward Proton Spectrometer. The measurement is performed in photoproduction defined by photon virtualities Q2 < 2 GeV2 and in deep-inelastic scattering with 4 GeV2 < Q2 < 80 GeV2 . The results are compared to next-to-leading order QCD calculations based on diffractive parton distribution functions as extracted from measurements of inclusive cross sections in diffractive deep- inelastic scattering. A collinear QCD factorization theorem is tested against the measured cross sections and their ratios. 1

This thesis aims to establish the efficacy of using matrix factorization to predict future purchases. Matrix factorisation is a machine learning method, commonly used to implement the collaborative filtering recommendation system. It finds items that a user may be interested in by comparing items that other similar users have rated, explicitly or implicitly, highly. To fulfill the purpose of the thesis, a qualitative and comparative approach was taken. First, three different implementations of matrix factorisation were created and trained on one year of purchase histories. Two generic methods of predicting future purchases, picking a random item and picking the top selling items, were also created to serve as a point of comparison. The ability to predict future purchases was established as the proportion of correct predictions a method could make. All five methods were then tested using a separate data set and the results compared. The results clearly show that matrix factorisation models are better at predicting future purchases than the generic models. However, the difference between the matrix factorization models was comparatively small. A notable discovery was that there was a decrease in the gap between all methods ability of predicting future purchases, as more predictions are made. The method of predicting a random item fared poorly, correctly predicting cumulatively less than one tenth of any other method. / Denna avhandling syftar till att fastställa matrisfaktoriseringens förmåga att förutsäga framtida köp. Matrisfaktorisering är en maskininlärningsmethod som vanligen används för att implementera rekommendationssystemet för kollaborativ filtrering. Den hittar artiklar som en användare kan vara intresserad av genom att jämföra artiklar som liknande användare har betygsatt högt, uttryckligen eller implicit. För att uppfylla avhandlingens syfte har en kvalitativ och jämförande studie genomförts. Först skapades tre olika matrisfaktoriserings modeler som tränades på ett års köphistorik. Två enkla metoder för att förutsäga framtida köp, att välja ett slumpmässigt föremål och välja de mest sålda föremålen, skapades också för att möjliggöra jämförelser. Möjligheten att förutsäga framtida köp fastställdes som andelen korrekta förutsägelser en metod kunde göra. Alla fem metoderna testades sedan med en separat datamängd och resultaten jämfördes. Resultaten visar tydligt att matrisfaktoriseringsmodeller är bättre på att förutsäga framtida köp än de enkla modellerna. Skillnaden mellan matrisfaktoriseringsmodellerna var dock jämförelsevis liten. En anmärkningsvärd upptäckt var att gapet mellan alla metoders förmåga att förutsäga framtida köp minskade, desto fler förutsägelser som gjordes. Metoden att förutsäga ett slumpmässigt objekt presterade dåligt, då kumulativa andelen korrekta förutsägelser var mindre än en tiondel av någon av de andra metoderna.