Spelling suggestions: "subject:"apprentissage automatique"" "subject:"dapprentissage automatique""
201 |
Révéler le contenu latent du code source : à la découverte des topoi de programme / Unveiling source code latent knowledge : discovering program topoiIeva, Carlo 23 November 2018 (has links)
Le développement de projets open source à grande échelle implique de nombreux développeurs distincts qui contribuent à la création de référentiels de code volumineux. À titre d'exemple, la version de juillet 2017 du noyau Linux (version 4.12), qui représente près de 20 lignes MLOC (lignes de code), a demandé l'effort de 329 développeurs, marquant une croissance de 1 MLOC par rapport à la version précédente. Ces chiffres montrent que, lorsqu'un nouveau développeur souhaite devenir un contributeur, il fait face au problème de la compréhension d'une énorme quantité de code, organisée sous la forme d'un ensemble non classifié de fichiers et de fonctions.Organiser le code de manière plus abstraite, plus proche de l'homme, est une tentative qui a suscité l'intérêt de la communauté du génie logiciel. Malheureusement, il n’existe pas de recette miracle ou bien d’outil connu pouvant apporter une aide concrète dans la gestion de grands bases de code.Nous proposons une approche efficace à ce problème en extrayant automatiquement des topoi de programmes, c'est à dire des listes ordonnées de noms de fonctions associés à un index de mots pertinents. Comment se passe le tri? Notre approche, nommée FEAT, ne considère pas toutes les fonctions comme égales: certaines d'entre elles sont considérées comme une passerelle vers la compréhension de capacités de haut niveau observables d'un programme. Nous appelons ces fonctions spéciales points d’entrée et le critère de tri est basé sur la distance entre les fonctions du programme et les points d’entrée. Notre approche peut être résumée selon ses trois étapes principales : 1) Preprocessing. Le code source, avec ses commentaires, est analysé pour générer, pour chaque unité de code (un langage procédural ou une méthode orientée objet), un document textuel correspondant. En outre, une représentation graphique de la relation appelant-appelé (graphe d'appel) est également créée à cette étape. 2) Clustering. Les unités de code sont regroupées au moyen d’une classification par clustering hiérarchique par agglomération (HAC). 3) Sélection du point d’entrée. Dans le contexte de chaque cluster, les unités de code sont classées et celles placées à des positions plus élevées constitueront un topos de programme.La contribution de cette thèse est triple: 1) FEAT est une nouvelle approche entièrement automatisée pour l'extraction de topoi de programme, basée sur le regroupement d'unités directement à partir du code source. Pour exploiter HAC, nous proposons une distance hybride originale combinant des éléments structurels et sémantiques du code source. HAC requiert la sélection d’une partition parmi toutes celles produites tout au long du processus de regroupement. Notre approche utilise un critère hybride basé sur la graph modularity et la cohérence textuelle pour sélectionner automatiquement le paramètre approprié. 2) Des groupes d’unités de code doivent être analysés pour extraire le programme topoi. Nous définissons un ensemble d'éléments structurels obtenus à partir du code source et les utilisons pour créer une représentation alternative de clusters d'unités de code. L’analyse en composantes principales, qui permet de traiter des données multidimensionnelles, nous permet de mesurer la distance entre les unités de code et le point d’entrée idéal. Cette distance est la base du classement des unités de code présenté aux utilisateurs finaux. 3) Nous avons implémenté FEAT comme une plate-forme d’analyse logicielle polyvalente et réalisé une étude expérimentale sur une base ouverte de 600 projets logiciels. Au cours de l’évaluation, nous avons analysé FEAT sous plusieurs angles: l’étape de mise en grappe, l’efficacité de la découverte de topoi et l’évolutivité de l’approche. / During the development of long lifespan software systems, specification documents can become outdated or can even disappear due to the turnover of software developers. Implementing new software releases or checking whether some user requirements are still valid thus becomes challenging. The only reliable development artifact in this context is source code but understanding source code of large projects is a time- and effort- consuming activity. This challenging problem can be addressed by extracting high-level (observable) capabilities of software systems. By automatically mining the source code and the available source-level documentation, it becomes possible to provide a significant help to the software developer in his/her program understanding task.This thesis proposes a new method and a tool, called FEAT (FEature As Topoi), to address this problem. Our approach automatically extracts program topoi from source code analysis by using a three steps process: First, FEAT creates a model of a software system capturing both structural and semantic elements of the source code, augmented with code-level comments; Second, it creates groups of closely related functions through hierarchical agglomerative clustering; Third, within the context of every cluster, functions are ranked and selected, according to some structural properties, in order to form program topoi.The contributions of the thesis is three-fold:1) The notion of program topoi is introduced and discussed from a theoretical standpoint with respect to other notions used in program understanding ;2) At the core of the clustering method used in FEAT, we propose a new hybrid distance combining both semantic and structural elements automatically extracted from source code and comments. This distance is parametrized and the impact of the parameter is strongly assessed through a deep experimental evaluation ;3) Our tool FEAT has been assessed in collaboration with Software Heritage (SH), a large-scale ambitious initiative whose aim is to collect, preserve and, share all publicly available source code on earth. We performed a large experimental evaluation of FEAT on 600 open source projects of SH, coming from various domains and amounting to more than 25 MLOC (million lines of code).Our results show that FEAT can handle projects of size up to 4,000 functions and several hundreds of files, which opens the door for its large-scale adoption for program understanding.
|
202 |
Orion, a generic model for data mining : application to video games / Orion, un modèle générique pour la fouille de données : application aux jeux vidéoSoler, Julien 08 September 2015 (has links)
Les besoins de l'industrie des jeux vidéo sont en constante évolution. Dans le domaine de l'intelligence artificielle, nous identifions dans le chapitre 1, les différents besoins de l'industrie dans ce domaine. Nous pensons que la conception d'une solution d'apprentissage de comportements par imitation qui soit fonctionnelle et efficace permettrait de couvrir la plupart de ces besoins. Dans le chapitre 2, nous montrons que les techniques d'extraction de données peuvent être très utiles pour offrir une telle solution. Cependant, ces techniques ne sont pas suffisantes pour construire automatiquement un comportement complet qui serait utilisable dans les jeux vidéo modernes. Dans le chapitre 3, nous proposons un modèle générique pour apprendre des comportements en imitant des joueurs humains : Orion. Ce modèle est composé de deux parties, un modèle structurel et un modèle comportemental. Le modèle structurel propose un framework généraliste d'exploration de données, fournissant une abstraction des différentes méthodes utilisées dans ce domaine de recherche. Ce framework nous permet de construire un outil d'usage général avec de meilleures possibilités de visualisation que les outils d'extraction de données existants. Le modèle comportemental est conçu pour intégrer des techniques d'exploration de données dans une architecture plus générale et repose sur les Behavior Trees. Dans le chapitre 4, nous illustrons comment nous utilisons notre modèle en mettant en oeuvre le comportement des joueurs dans les jeux Pong et UT3 en utilisant Orion. Dans le chapitre 5, nous identifions les améliorations possibles, à la fois de notre outil d'extraction de données et de notre modèle comportemental. / The video game industry's needs are constantly changing. In the field of artificial intelligence, we identify inchapter 1, the different needs of industry in this area. We believe that the design of a learning behavior through imitation solution that is functional and efficient would cover most of these needs. In chapter 2, we show that data mining techniques can be very useful to provide such a solution. However, for now, these techniques are not sufficient to automatically build a comprehensive behavior that would be usable in modern video games. In chapter 3, we propose a generic model to learn behavior by imitating human players: Orion.This model consists of two parts, a structural model and a behavioral model. The structural model provides a general data mining framework, providing an abstraction of the different methods used in this research. This framework allows us to build a general purpose tool with better possibilities for visualizing than existing data mining tools. The behavioral model is designed to integrate data mining techniques in a more general architecture and is based on the Behavior Trees. In chapter 4, we illustrate how we use our model by implementing the behavior of players in the Pong and Unreal Tournament 3 games using Orion. In chapter 5,we identify possible improvements, both of our data mining framework and our behavioral model.
|
203 |
Modélisation des hydrosystèmes par approche systémique / Hydrosystem modelling with a systemic approachBardolle, Frédéric 20 June 2018 (has links)
Dans l'état actuel des connaissances, il est impossible de poser correctement toute la physique permettant de modéliser les hydrosystèmes dans leur ensemble, notamment à cause de la dynamique très contrastée des différents compartiments. Les modèles systémiques simplifient la représentation des hydrosystèmes en ne considérant que leurs flux d’échange. L’objet de ce travail est de proposer un outil de modélisation systémique fournissant des informations sur le fonctionnement physique des hydrosystèmes, tout en étant simple et parcimonieux. Ce modèle nommé MASH (pour Modélisation des Hydrosystèmes par Approche Systémique) est basé sur l’utilisation de fonctions de transfert paramétriques choisies en fonction de leur faible paramétrisation, leur caractère général et leur interprétation physique. Il est versatile, dans le sens que son architecture est modulable et que le nombre d’entrées, le nombre de fonctions de transfert en série et le type de fonctions de transfert utilisé est laissée à la discrétion de l’utilisateur. Ce modèle est inversé en utilisant de récentes avancées en apprentissage automatique grâce à une famille d’heuristiques basée sur l’intelligence en essaim nommé « optimisation par essaim de particule » (ou PSO pour « Particle Swarm Optimization »). Le modèle et ses algorithmes d’inversion sont testés sur un cas d’école synthétique, puis sur un cas d’application réel. / In the light of current knowledge, hydrosystems cannot be modelled as a whole since underlying physical principles are not totally understood. Systemic models simplify hydrosystem representation by considering only water flows. The aim of this work is to provide a systemic modelling tool giving information about hydrosystem physical behavior while being simple and parsimonious. This model, called HMSA (for Hydrosystem Modelling with a Systemic Approach) is based on parametric transfer functions chose for their low parametrization, their general nature and their physical interpretation. It is versatile, since its architecture is modular, and the user can choose the number of inputs, outputs and transfer functions. Inversion is done with recent machine learning heuristic family, based on swarm intelligence called PSO (Particle Swarm Optimization). The model and its inversion algorithms are tested first with a textbook case, and then with a real-world case.
|
204 |
Reconnaissance et prédiction d'activités dans la maison connectée / Recognizing and predicting activities in smart homesCumin, Julien 04 December 2018 (has links)
Comprendre le contexte ambiant d'une maison est essentiel pour pouvoir proposer à ses occupants des services adaptés à leurs situations de vie, et qui répondent donc à leurs besoins. Un exemple de tel service est un assistant de communication, qui pourrait par exemple informer les personnes hors de la maison à propos de la disponibilité des habitants de celle-ci pour communiquer. Pour implémenter un tel service, il est en effet nécessaire que la maison prenne en compte les situations de ses occupants, pour ensuite en déduire leurs disponibilités.Dans cette thèse, nous nous intéressons dans un premier temps à définir ce qu'est le contexte dans une maison. Nous défendons que l'activité des occupants est l'une des dimensions principales du contexte d'une maison, nécessaire à la mise en œuvre de systèmes sensibles au contexte. C'est pourquoi nous étudions dans un second temps le problème de la reconnaissance automatique d'activités humaines, à partir des données de capteurs ambiants installés dans la maison. Nous proposons une nouvelle approche d'apprentissage automatique supervisé basée sur les lieux de la maison, qui améliore à la fois les performances de reconnaissance correcte d'activités ainsi que les temps de calcul nécessaires, par rapport aux approches de l'état de l'art.Par ailleurs, ces services sensibles au contexte auront probablement besoin de pouvoir anticiper les situations futures de la maison. En particulier, ils doivent pouvoir anticiper les activités futures réalisées par les occupants. C'est pourquoi nous proposons un nouveau modèle de prédiction supervisée d'activités, basé sur des modèles de l'état de l'art. Nous introduisons un certain nombre d'extensions à ce modèle afin d'améliorer les performances de prédiction, en se basant sur des spécificités des environnements de maisons instrumentées.Enfin, nous nous intéressons à l'estimation de la disponibilité des occupants à communiquer, afin d'illustrer la faisabilité de notre exemple de service d'assistance à la communication. Nous suggérons que la disponibilité peut être inférée à partir des dimensions primaires du contexte, comme le lieu et l'activité (que l'on peut reconnaitre et prédire à l'aide de nos contributions précédentes), mais en prenant également en compte le correspondant initiant la communication, ainsi que la modalité utilisée. Nous discutons de l'impact de l'étape de reconnaissance d'activités sur l'estimation de la disponibilité.Nous évaluons expérimentalement ces contributions sur différents jeux de données de l'état de l'art, ainsi que sur un nouveau jeu de données d'activités et de disponibilités dans la maison que nous avons spécifiquement construit durant cette thèse : Orange4Home. À travers nos contributions à ces trois problèmes, nous démontrons l'implémentabilité d'un service d'assistance à la communication, pouvant conseiller des correspondants extérieurs sur les futures disponibilités des occupants de la maison. De manière plus générale, nous montrons comment des dimensions secondaires du contexte, comme la disponibilité, peuvent être inférées d'autres dimensions du contexte, comme l'activité. Il est donc essentiel pour qu'une maison devienne sensible au contexte, que celle-ci dispose de systèmes de reconnaissance et de prédiction d'activités les plus fiables possibles. / Understanding the context of a home is essential in order to provide services to occupants that fit their situations and thus fulfil their needs. One example of service that such a context-aware smart home could provide is that of a communication assistant, which can for example advise correspondents outside the home on the availability for communication of occupants. In order to implement such a service, it is indeed required that the home understands the situations of occupants, in order to derive their availability.In this thesis, we first propose a definition of context in homes. We argue that one of the primary context dimensions necessary for a system to be context-aware is the activity of occupants. As such, we then study the problem of recognizing activities, from ambient smart home sensors. We propose a new supervised place-based approach which both improves activity recognition accuracy as well as computing times compared to standard approaches.Smart home services, such as our communication assistance example, may often need to anticipate future situations. In particular, they need to anticipate future activities of occupants. Therefore, we design a new supervised activity prediction model, based on previous state-of-the-art work. We propose a number of extensions to improve prediction accuracy based on the specificities of smart home environments.Finally, we study the problem of inferring the availability of occupants for communication, in order to illustrate the feasibility of our communication assistant example. We argue that availability can be inferred from primary context dimensions such as place and activity (which can be recognized or predicted using our previous contributions), and by taking into consideration the correspondent initiating the communication as well as the modality of communication used. We discuss the impact of the activity recognition step on availability inference.We evaluate those contributions on various state-of-the-art datasets, as well as on a new dataset of activities and availabilities in homes which we constructed specifically for the purposes of this thesis: Orange4Home. Through our contributions to these 3 problems, we demonstrate the way in which an example context-aware communication assistance service can be implemented, which can advise on future availability for communication of occupants. More generally, we show how secondary context dimensions such as availability can be inferred from other context dimensions, in particular from activity. Highly accurate activity recognition and prediction are thus mandatory for a smart home to achieve context awareness.
|
205 |
Etude des modèles à composition mixée pour l'analyse de réseaux complexes / A study of Mixed-Membership Models for Complex Networks AnalysisDulac, Adrien 17 December 2018 (has links)
Les données relationnelles sont omniprésentes dans la nature et leur accessibilité ne cesse d'augmenter depuis ces dernières années. Ces données, vues comme un tout, forment un réseau qui peut être représenté par une structure de données appelée graphe où chaque nœud du graphe est une entité et chaque arête représente une relation ou connexion entre ces entités. Les réseaux complexes en général, tels que le Web, les réseaux de communications ou les réseaux sociaux sont connus pour exhiber des propriétés structurelles communes qui émergent aux travers de leurs graphes. Dans cette thèse, nous mettons l'accent sur deux importantes propriétés appelées *homophilie* et *attachement préférentiel* qui se produisent dans un grand nombre de réseaux réels. Dans une première phase, nous étudions une classe de modèles de graphes aléatoires dans un contexte Bayésien non-paramétrique, appelé *modèle de composition mixée*, et nous nous concentrons à montrer si ces modèles satisfont ou non les propriétés mentionnées, après avoir proposé des définitions formelles pour ces dernières. Nous conduisons ensuite une évaluation empirique pour mettre à l'épreuve nos résultats sur des jeux de données de réseaux synthétiques et réels. Dans une seconde phase, nous proposons un nouveau modèle, qui généralise un précédent modèle à composition mixée stochastique, adapté pour les réseaux pondérés et nous développons un algorithme d'inférence efficace capable de s'adapter à des réseaux de grande échelle. / Relational data are ubiquitous in the nature and their accessibility has not ceased to increase in recent years. Those data, see as a whole, form a network, which can be represented by a data structure called a graph, where each vertex of the graph is an entity and each edge a connection between pair of vertices. Complex networks in general, such as the Web, communication networks or social network, are known to exhibit common structural properties that emerge through their graphs. In this work we emphasize two important properties called *homophilly* and *preferential attachment* that arise on most of the real-world networks. We firstly study a class of powerful *random graph models* in a Bayesian nonparametric setting, called *mixed-membership model* and we focus on showing whether the models in this class comply with the mentioned properties, after giving formal definitions in a probabilistic context of the latter. Furthermore, we empirically evaluate our findings on synthetic and real-world network datasets. Secondly, we propose a new model, which extends the former Stochastic Mixed-Membership Model, for weighted networks and we develop an efficient inference algorithm able to scale to large-scale networks.
|
206 |
Classification de vocalises de mammifères marins en environnement sismique / Recognition of marine mammal vocalizations in seismic environmentGuilment, Thomas 21 June 2018 (has links)
En partenariat avec l’entreprise Sercel, la thèse concerne la mise en œuvre d’algorithmes de reconnaissance des sons émis par les mysticètes (baleines à fanons). Cessons peuvent être étudiés grâce aux systèmes de surveillance par acoustique passive. L’entreprise Sercel, par ses activités sismiques liées à la prospection pétrolière, a son propre logiciel pour détecter et localiser les sources d’énergie sonores sous-marines. Le travail de la thèse consiste dès lors à ajouter un module de reconnaissance pour identifier si l'énergie détectée et localisée correspond bien à un éventuel mysticète. Les campagnes de tirs sismiques étant onéreuses, la méthode utilisée doit pouvoir réduire la probabilité de fausse alarme, la reconnaissance pouvant infirmer la détection. La méthode proposée est basée sur l’apprentissage de dictionnaire. Elle est dynamique, modulaire, ne dépend que de peu de paramètres et est robuste aux fausses alarmes. Une expérimentation sur cinq types de vocalises est présentée. Nous obtenons un rappel moyen de 92.1 % tout en rejetant 97.3 % des bruits (persistants et transitoires). De plus, un coefficient de confiance est associé à chaque reconnaissance et permet de réaliser de l’apprentissage incrémental semi-supervisé. Enfin, nous proposons une méthode capable de gérer la détection et la reconnaissance conjointement. Ce « détecteur multiclasses » respecte au mieux les contraintes de gestion des fausses alarmes et permet d’identifier plusieurs types de vocalises au même instant. Cette méthode est bien adaptée au contexte industriel pour lequel elle est dédiée. Elle ouvre également des perspectives très prometteuses dans le contexte bioacoustique. / In partnership with Sercel, the thesis concerns the implementation of algorithms for recognizing the sounds emitted by mysticetes (baleen whales). These sounds can be studiedusing passive acoustic monitoring systems. Sercel, through its seismic activities related to oïl exploration, has its own software to detect and locate underwater sound energy sources. The thesis work therefore consists in adding a recognition module to identify if the detected andlocalized energy corresponds to a possible mysticete. Since seismic shooting campaigns areexpensive, the method used must be able to reduce the probability of false alarms, as recognitioncan invalidate detection. The proposed method is based on dictionary learning. It is dynamic, modular, depends on few parameters and is robust to false alarms. An experiment on five types of vocalizations is presented. We obtain an average recall of 92.1% while rejecting 97.3% of the noises (persistent and transient). In addition, a confidence coefficient is associated with each recognition and allows semi-supervised incremental learning to be achieved. Finally, we propose a method capable of managing detection and recognition together. This "multiclassdetector" best respects the constraints of false alarm management and allows several types of vocalizations to be identified at the same time. This method is well adapted to the industrial context for which it is dedicated. It also opens up very promising prospects in the bioacoustic context.
|
207 |
Diffusion élastique optique pour l'identification de pathogènes / Elastic light scattering for fast identification of pathogensGenuer, Valentin 20 October 2017 (has links)
Dans un contexte mondial de prolifération de pathogènes résistants aux antibiotiques, il y a un réel besoin de nouvelles techniques de diagnostic microbiologique rapides et fiables. Ce travail de thèse vise à apporter une meilleure compréhension de la technique d’identification microbienne par diffusion élastique (ELS pour Elastic Light Scattering). Cette méthode phénotypique utilise la diffraction d’un faisceau de lumière cohérente sur une colonie microbienne directement sur son milieu de culture. L’image de diffraction alors obtenue est considérée comme la signature phénotypique du microorganisme étudié. Cette image est ensuite transformée au moyen de descripteurs mathématiques afin de la comparer à une base de données pré-calculée au moyen d’algorithmes d’apprentissage automatiques. Dans un premier temps, l’architecture optique de l’instrument a été modifiée afin de le rendre compatible avec les milieux de culture opaque très répandus en diagnostic clinique. Deux approches ont ensuite été proposées afin de modéliser l’interaction lumière/colonie microbienne. Une première approche d’optique géométrique par lancer de rayons nous a permis d’apprécier les besoins en termes d’ouverture numérique pour l’acquisition des images de diffraction selon le profil morphologique des colonies. La seconde approche basée sur la théorie scalaire de la diffraction a permis de mettre en évidence l’importance de la répartition de la biomasse à l’intérieur de colonies. En effet, les macrostructures résultantes de l’empilement des cellules microbiennes jouent un rôle majeur dans la formation des images de diffraction. Dans un second temps, une procédure systématique d’amélioration des performances de classification a été proposée. Elle combine une description plus fidèle des images de diffraction via la projection sur une base de Fourier-Bessel, une optimisation par recherche de grille sur les paramètres de l’algorithme d’apprentissage automatique supervisé et enfin l’application d’une méthode de réduction de dimensionnalité. Grâce à cela nous pouvons par exemple proposer un test Gram+/Gram-/Levures avec un taux de discrimination de plus de 98% sur une base de 15 espèces. Enfin, l’utilisation de l’illumination cohérente a également été étendue à la lecture d’antibiogrammes par analyse dynamique de speckle. / The current health situation across the world is of great concern. There is an urgent need for novel and innovative diagnostic methods that would speed up accurate treatments decisions and be of significant utility for public health in the fight against antibiotic resistance.This Ph. D. work aims to better understand the Elastic Light Scattering (ELS) method for microbial identification. This phenotypic technique is based on the elastic scattering of a coherent light beam by a microorganism colony growing on its culture plate. The resulting scattering pattern can be considered as the phenotypic signature of the microorganism. Then this image is translated using mathematical descriptors so that it can be compared to a database previously obtained using learning algorithms.Part of this work was dedicated to the improvement of the optical design so that the instrument can handle opaque culture media widely used in clinical diagnosis. Then two approaches were proposed to model the interaction between light and bacterial colonies. A first geometrical approach could help us, using ray tracing algorithms, to estimate the numerical aperture needed for the acquisition depending on the colonies morphologies. The second approach, based on scalar diffraction theory, highlighted the importance of the biomass distribution inside the colonies. Macro-structures resulting from cells arrangement play a great role in the scattering patterns formation indeed. In addition, the features extraction step from images using a Bessel-Fourier basis significantly improved the description accuracy. A systematic approach comprising the optimization of the learning algorithm and a dimensionality reduction technique was proposed. Great improvements of classification rates were achieved. Among them: a Gram+/Gram-/Yeasts discrimination at 98.1% was obtained over 15 species. Finally the use of coherent lighting for the reading of antibiotics susceptibility test by means of dynamic speckle analysis was introduced and showed promising results.
|
208 |
Theory and algorithms for learning metrics with controlled behaviour / Théorie et algorithmes pour l'apprentissage de métriques à comportement contrôléPerrot, Michaël 13 December 2016 (has links)
De nombreux algorithmes en Apprentissage Automatique utilisent une notion de distance ou de similarité entre les exemples pour résoudre divers problèmes tels que la classification, le partitionnement ou l'adaptation de domaine. En fonction des tâches considérées ces métriques devraient avoir des propriétés différentes mais les choisir manuellement peut-être fastidieux et difficile. Une solution naturelle est alors d'adapter automatiquement ces métriques à la tâche considérée. Il s'agit alors d'un problème connu sous le nom d'Apprentissage de Métriques et où le but est principalement de trouver les meilleurs paramètres d'une métrique respectant des contraintes spécifiques. Les approches classiques dans ce domaine se focalisent habituellement sur l'apprentissage de distances de Mahalanobis ou de similarités bilinéaires et l'une des principales limitations est le fait que le contrôle du comportement de ces métriques est souvent limité. De plus, si des travaux théoriques existent pour justifier de la capacité de généralisation des modèles appris, la plupart des approches ne présentent pas de telles garanties. Dans cette thèse nous proposons de nouveaux algorithmes pour apprendre des métriques à comportement contrôlé et nous mettons l'accent sur les propriétés théoriques de ceux-ci. Nous proposons quatre contributions distinctes qui peuvent être séparées en deux parties: (i) contrôler la métrique apprise en utilisant une métrique de référence et (ii) contrôler la transformation induite par la métrique apprise. Notre première contribution est une approche locale d'apprentissage de métriques où le but est de régresser une distance proportionnelle à la perception humaine des couleurs. Notre approche est justifiée théoriquement par des garanties en généralisation sur les métriques apprises. Dans notre deuxième contribution nous nous sommes intéressés à l'analyse théorique de l'intérêt d'utiliser une métrique de référence dans un terme de régularisation biaisé pour aider lors du processus d'apprentissage. Nous proposons d'utiliser trois cadres théoriques différents qui nous permettent de dériver trois mesures différentes de l'apport de la métrique de référence. Ces mesures nous donnent un aperçu de l'impact de la métrique de référence sur celle apprise. Dans notre troisième contribution nous proposons un algorithme d'apprentissage de métriques où la transformation induite est contrôlée. L'idée est que, plutôt que d'utiliser des contraintes de similarité et de dissimilarité, chaque exemple est associé à un point virtuel qui appartient déjà à l'espace induit par la métrique apprise. D'un point de vue théorique nous montrons que les métriques apprises de cette façon généralisent bien mais aussi que notre approche est liée à une méthode plus classique d'apprentissage de métriques basée sur des contraintes de paires. Dans notre quatrième contribution nous essayons aussi de contrôler la transformation induite par une métrique apprise. Cependant, plutôt que considérer un contrôle individuel pour chaque exemple, nous proposons une approche plus globale en forçant la transformation à suivre une transformation géométrique associée à un problème de transport optimal. D'un point de vue théorique nous proposons une discussion sur le lien entre la transformation associée à la métrique apprise et la transformation associée au problème de transport optimal. D'un point de vue plus pratique nous montrons l'intérêt de notre approche pour l'adaptation de domaine mais aussi pour l'édition d'images / Many Machine Learning algorithms make use of a notion of distance or similarity between examples to solve various problems such as classification, clustering or domain adaptation. Depending on the tasks considered these metrics should have different properties but manually choosing an adapted comparison function can be tedious and difficult. A natural trend is then to automatically tailor such metrics to the task at hand. This is known as Metric Learning and the goal is mainly to find the best parameters of a metric under some specific constraints. Standard approaches in this field usually focus on learning Mahalanobis distances or Bilinear similarities and one of the main limitations is that the control over the behaviour of the learned metrics is often limited. Furthermore if some theoretical works exist to justify the generalization ability of the learned models, most of the approaches do not come with such guarantees. In this thesis we propose new algorithms to learn metrics with a controlled behaviour and we put a particular emphasis on the theoretical properties of these algorithms. We propose four distinct contributions which can be separated in two parts, namely (i) controlling the metric with respect to a reference metric and (ii) controlling the underlying transformation corresponding to the learned metric. Our first contribution is a local metric learning method where the goal is to regress a distance proportional to the human perception of colors. Our approach is backed up by theoretical guarantees on the generalization ability of the learned metrics. In our second contribution we are interested in theoretically studying the interest of using a reference metric in a biased regularization term to help during the learning process. We propose to use three different theoretical frameworks allowing us to derive three different measures of goodness for the reference metric. These measures give us some insights on the impact of the reference metric on the learned one. In our third contribution we propose a metric learning algorithm where the underlying transformation is controlled. The idea is that instead of using similarity and dissimilarity constraints we associate each learning example to a so-called virtual point belonging to the output space associated with the learned metric. We theoretically show that metrics learned in this way generalize well but also that our approach is linked to a classic metric learning method based on pairs constraints. In our fourth contribution we also try to control the underlying transformation of a learned metric. However instead of considering a point-wise control we consider a global one by forcing the transformation to follow the geometrical transformation associated to an optimal transport problem. From a theoretical standpoint we propose a discussion on the link between the transformation associated with the learned metric and the transformation associated with the optimal transport problem. On a more practical side we show the interest of our approach for domain adaptation but also for a task of seamless copy in images
|
209 |
Systèmes de recommandation pour la publicité en ligne / Recommendation systems for online advertisingSidana, Sumit 08 November 2018 (has links)
Cette thèse est consacrée à l’étude des systèmes de recommandation basés sur des réseaux de neurones artificiels appris pour faire de l'ordonnancement de produits avec des retours implicites (sous forme de clics). Dans ce sens, nous proposons un nouveau modèle neuronal qui apprend conjointement la représentation des utilisateurs et des produits dans un espace latent, ainsi que la relation de préférence des utilisateurs sur les produits. Nous montrons que le modèle proposé est apprenable au sens du principe de la minimisation du risque empirique et performant par rapport aux autres modèles de l'état de l'art sur plusieurs collections. En outre, nous contribuons à la création de deux nouvelles collections, produites grâce aux enregistrements des comportements de clients de Kelkoo (https://www.kelkoo.com/); le leader européen de la publicité programmatique et de Purch (http://www.purch.com/). Les deux jeux de données recueillent des retours implicites des utilisateurs sur des produits, ainsi qu’un grand nombre d'informations contextuelles concernant à la fois les clients et les produits. La collections de données de Purch contient en plus une information sur la popularité des produits ainsi que des commentaires textuelles associés. Nous proposons, une stratégie simple et efficace sur la manière de prendre en compte le biais de la popularité ainsi qu'un modèle probabiliste latent temporel pour extraire automatiquement les thèmes des textes des commentaires.Mots clés. Systèmes de recommandation, apprentissage d'ordonnancement, réseaux de neurones, recommandations avec des retours implicites, Modèles probabilistes latents temporels / This thesis is dedicated to the study of Recommendation Systems for implicit feedback (clicks) mostly using Learning-to-rank and neural network based approaches. In this line, we derive a novel Neural-Network model that jointly learns a new representation of users and items in an embedded space as well as the preference relation of users over the pairs of items and give theoretical analysis. In addition we contribute to the creation of two novel, publicly available, collections for recommendations that record the behavior of customers of European Leaders in eCommerce advertising, Kelkoofootnote{url{https://www.kelkoo.com/}} and Purchfootnote{label{purch}url{http://www.purch.com/}}. Both datasets gather implicit feedback, in form of clicks, of users, along with a rich set of contextual features regarding both customers and offers. Purch's dataset, is affected by popularity bias. Therefore, we propose a simple yet effective strategy on how to overcome the popularity bias introduced while designing an efficient and scalable recommendation algorithm by introducing diversity based on an appropriate representation of items. Further, this collection contains contextual information about offers in form of text. We make use of this textual information in novel time-aware topic models and show the use of topics as contextual information in Factorization Machines that improves performance. In this vein and in conjunction with a detailed description of the datasets, we show the performance of six state-of-the-art recommender models.Keywords. Recommendation Systems, Data Sets, Learning-to-Rank, Neural Network, Popularity Bias, Diverse Recommendations, Contextual information, Topic Model.
|
210 |
Représentations parcimonieuses et apprentissage de dictionnaires pour la classification et le clustering de séries temporelles / Time warp invariant sparse coding and dictionary learning for time series classification and clusteringVarasteh Yazdi, Saeed 15 November 2018 (has links)
L'apprentissage de dictionnaires à partir de données temporelles est un problème fondamental pour l’extraction de caractéristiques temporelles latentes, la révélation de primitives saillantes et la représentation de données temporelles complexes. Cette thèse porte sur l’apprentissage de dictionnaires pour la représentation parcimonieuse de séries temporelles. On s’intéresse à l’apprentissage de représentations pour la reconstruction, la classification et le clustering de séries temporelles sous des transformations de distortions temporelles. Nous proposons de nouveaux modèles invariants aux distortions temporelles.La première partie du travail porte sur l’apprentissage de dictionnaire pour des tâches de reconstruction et de classification de séries temporelles. Nous avons proposé un modèle TWI-OMP (Time-Warp Invariant Orthogonal Matching Pursuit) invariant aux distorsions temporelles, basé sur un opérateur de maximisation du cosinus entre des séries temporelles. Nous avons ensuite introduit le concept d’atomes jumelés (sibling atomes) et avons proposé une approche d’apprentissage de dictionnaires TWI-kSVD étendant la méthode kSVD à des séries temporelles.Dans la seconde partie du travail, nous nous sommes intéressés à l’apprentissage de dictionnaires pour le clustering de séries temporelles. Nous avons proposé une formalisation du problème et une solution TWI-DLCLUST par descente de gradient.Les modèles proposés sont évalués au travers plusieurs jeux de données publiques et réelles puis comparés aux approches majeures de l’état de l’art. Les expériences conduites et les résultats obtenus montrent l’intérêt des modèles d’apprentissage de représentations proposés pour la classification et le clustering de séries temporelles. / Learning dictionary for sparse representing time series is an important issue to extract latent temporal features, reveal salient primitives and sparsely represent complex temporal data. This thesis addresses the sparse coding and dictionary learning problem for time series classification and clustering under time warp. For that, we propose a time warp invariant sparse coding and dictionary learning framework where both input samples and atoms define time series of different lengths that involve varying delays.In the first part, we formalize an L0 sparse coding problem and propose a time warp invariant orthogonal matching pursuit based on a new cosine maximization time warp operator. For the dictionary learning stage, a non linear time warp invariant kSVD (TWI-kSVD) is proposed. Thanks to a rotation transformation between each atom and its sibling atoms, a singular value decomposition is used to jointly approximate the coefficients and update the dictionary, similar to the standard kSVD. In the second part, a time warp invariant dictionary learning for time series clustering is formalized and a gradient descent solution is proposed.The proposed methods are confronted to major shift invariant, convolved and kernel dictionary learning methods on several public and real temporal data. The conducted experiments show the potential of the proposed frameworks to efficiently sparse represent, classify and cluster time series under time warp.
|
Page generated in 0.0945 seconds