1 |
Principled deep learning approaches for learning from limited labeled data through distribution matchingShui, Changjian 28 September 2023 (has links)
Les réseaux de neurones profonds ont démontré un fort impact dans de nombreuses applications du monde réel et ont atteint des performances prometteuses dans plusieurs domaines de recherche. Cependant, ces gains empiriques sont généralement difficiles à déployer dans les scénarios du monde réel, car ils nécessitent des données étiquetées massives. Pour des raisons de temps et de budget, la collecte d'un tel ensemble de données d'entraînement à grande échelle est irréaliste. Dans cette thèse, l'objectif est d'utiliser le distribution matching pour développer de nouvelles approches d'apprentissage profond pour la prédiction de peu de données étiquetées. En particulier, nous nous concentrons sur les problèmes d'apprentissage multi-tâches, d'apprentissage actif et d'adaptation au domaine, qui sont les scénarios typiques de l'apprentissage à partir de données étiquetées limitées. La première contribution consiste à développer l'approche principale de l'apprentissage multi-tâches. Concrètement, on propose un point de vue théorique pour comprendre le rôle de la similarité entre les tâches. Basé sur les résultats théoriques, nous re-examinons l'algorithme du Adversarial Multi-Task Neural Network, et proposons un algorithme itératif pour estimer le coefficient des relations entre les tâches et les paramètres du réseaux de neurones. La deuxième contribution consiste à proposer une méthode unifiée pour les requêtes et les entraînements dans l'apprentissage actif profond par lots. Concrètement, nous modélisons la procédure interactive de l'apprentissage actif comme le distribution matching. Nous avons ensuite dérivé une nouvelle perte d'entraînement, qui se décompose en deux parties : l'optimisation des paramètres du réseaux de neurones et la sélection des requêtes par lots. En outre, la perte d'entraînement du réseau profond est formulée comme un problème d'optimisation min-max en utilisant les informations des données non étiquetées. La sélection de lots de requêtes proposée indique également un compromis explicite entre incertitude et diversité. La troisième contribution vise à montrer l'incohérence entre le domain adversarial training et sa correspondance théorique supposée, basée sur la H-divergence. Concrètement, nous découvrons que la H-divergence n'est pas équivalente à la divergence de Jensen-Shannon, l'objectif d'optimisation dans les entraînements adversaires de domaine. Pour cela, nous établissons un nouveau modèle théorique en prouvant explicitement les bornes supérieures et inférieures du risque de la cible, basées sur la divergence de Jensen-Shannon. Notre framework présente des flexibilités inhérentes pour différents problèmes d'apprentissage par transfert. D'un point de vue algorithmique, notre théorie fournit une guidance de l'alignement conditionnel sémantique, de l'alignement de la distribution marginale et de la correction du label-shift marginal. La quatrième contribution consiste à développer de nouvelles approches pour agréger des domaines de sources avec des distributions d'étiquettes différentes, où la plupart des approches récentes de sélection de sources échouent. L'algorithme que nous proposons diffère des approches précédentes sur deux points essentiels : le modèle agrège plusieurs sources principalement par la similarité de la distribution conditionnelle plutôt que par la distribution marginale ; le modèle propose un cadre unifié pour sélectionner les sources pertinentes pour trois scénarios populaires, l'adaptation de domaine avec une étiquette limitée sur le domaine cible, l'adaptation de domaine non supervisée et l'adaptation de domaine non supervisée partielle par étiquette. / Deep neural networks have demonstrated a strong impact on a wide range of tasks and achieved promising performances. However, these empirical gains are generally difficult to deploy in real-world scenarios, because they require large-scale hand-labeled datasets. Due to the time and cost budget, collecting such large-scale training sets is usually infeasible in practice. In this thesis, we develop novel approaches through distribution matching to learn limited labeled data. Specifically, we focus on the problems of multi-task learning, active learning, and domain adaptation, which are the typical scenarios in learning from limited labeled data. The first contribution is to develop a principled approach in multi-task learning. Specifically, we propose a theoretical viewpoint to understand the importance of task similarity in multi-task learning. Then we revisit the adversarial multi-task neural network and propose an iterative algorithm to estimate the task relation coefficient and neural-network parameters. The second contribution is to propose a unified and principled method for both querying and training in deep batch active learning. We model the interactive procedure as distribution matching. Then we derive a new principled approach in optimizing neural network parameters and batch query selection. The loss for neural network training is formulated as a min-max optimization through leveraging the unlabeled data. The query loss indicates an explicit uncertainty-diversity trade-off batch-selection. The third contribution aims at revealing the incoherence between the widely-adopted empirical domain adversarial training and its generally assumed theoretical counterpart based on H-divergence. Concretely, we find that H-divergence is not equivalent to Jensen-Shannon divergence, the optimization objective in domain adversarial training. To this end, we establish a new theoretical framework by directly proving the upper and lower target risk bounds based on the Jensen-Shannon divergence. Our framework exhibits flexibilities for different transfer learning problems. Besides, our theory enables a unified guideline in conditional matching, feature marginal matching, and label marginal shift correction. The fourth contribution is to design novel approaches for aggregating source domains with different label distributions, where most existing source selection approaches fail. Our proposed algorithm differs from previous approaches in two key ways: the model aggregates multiple sources mainly through the similarity of conditional distribution rather than marginal distribution; the model proposes a unified framework to select relevant sources for three popular scenarios, i.e., domain adaptation with limited label on the target domain, unsupervised domain adaptation and labels partial unsupervised domain adaption.
|
2 |
Sécurisation de la couche physique des communications sans contact de type RFID et NFC / Secure of the physical layer for contactless communications using RFID and NFC technologyThevenon, Pierre-Henri 10 November 2011 (has links)
L'avènement des communications en champ proche pour les transactions entre objets portables téléalimentés de type RFID pose un problème de sécurité. En effet, ces communications supportent non seulement la fonction de transfert d'information, mais aussi celle de transfert de puissance d'alimentation et d'horloge vers l'objet nomade. La sécurité des communications repose sur l'authentification des parties, l'intégrité des données et leur confidentialité. En général ces objets téléalimentés sont dits à ressources rares : c'est-à-dire que leur puissance de calcul et leurs possibilités pour se protéger sont limitées Ces caractéristiques font peser des menaces importantes sur la sécurité du lien sans contact et sur la protection des données personnelles parmi lesquelles quatre sont essentielles : 1) L'espionnage de la communication. 2) L'attaque en relais : L'intégrité de la communication peut être mise en danger par l'utilisation d'un système pouvant relayer à grande distance les commandes d'un lecteur RFID à une carte RFID. Les messages peuvent alors être écoutés, voire modifiés. La détection de la présence de tels dispositifs devient primordiale. 3) L'activation à distance d'une carte RFID. 4) Le déni de service. L'objectif de cette thèse sera de trouver des contre-mesures impliquant la couche physique et évitant la modification des normes actuelles à la fois dans les dispositifs de type étiquettes électroniques RFID et dans les téléphones portables de type NFC. / The arrival of the near field communications for transactions between portable remotely powered devices using RFID technology presents a problem. In fact, these communications provide not only an informative function but also a power and clock transfer function to the contactless device. Communication security is based on authentication protocols, security data integrity and confidentiality. Most of these remotely powered devices have low resources and then low defense against attackers. These features create a threat for contactless communications security and privacy data protection. Four types of attack exist: 1) Eavesdropping 2) Relay attack : Communication integrity can be in danger with the use of systems that can relay RFID reader commands to a RFID card. Transactions can be spied or even worse can be modified in case of a man-in-the-middle attack. 3) Skimming : Activation and reading of a contactless card from a distance. 4) The denial of service. The objective of this thesis is to find countermeasures using the physical layer in RFID contactless devices and in NFC mobile phones while avoiding the modification of actual standards.
|
3 |
Etude de relaxations en traitement d'images. Application à la segmentation et autres problèmes multi-étiquettes. / Relaxations in image processing, application to segmentation and others multi-label problemsYildizoglu, Romain 08 July 2014 (has links)
Cette thèse étudie différentes relaxations pour minimiser des fonctionnelles non convexes qui apparaissent en traitement d’images. Des problèmes comme la segmentation d’image peuvent en effet s’écrire comme un problème de minimisation d’une certaine fonctionnelle, le minimiseur représentant la segmentation recherchée. Différentes méthodes ont été proposées pour trouver des minima locaux ou globaux de la fonctionnelle non convexe du modèle de Mumford-Shah constant par morceaux à deux phases. Certaines approches utilisent une relaxation convexe qui permet d’obtenir des minima globaux de la fonctionnelle non convexe. On rappelle et compare certaines de ces méthodes et on propose un nouveau modèle par bande étroite, qui permet d’obtenir des minima locaux tout en utilisant des algorithmes robustes qui proviennent de l’optimisation convexe. Ensuite, on construit une relaxation convexe d’un modèle de segmentation à deux phases qui repose sur la comparaison entre deux histogrammes donnés et les histogrammes estimés globalement sur les deux régions de la segmentation. Des relaxations pour des problèmes multi-étiquettes à plusieurs dimensions comme le flot optique sont également étudiées. On propose une relaxation convexe avec un algorithme itératif qui ne comprend que des projections qui se calculent exactement, ainsi qu’un nouvel algorithme pour une relaxation convexe sur chaque variable mais non convexe globalement. On étudie la manière d’estimer une solution du problème non convexe original à partir d’une solution d’un problème relaxé en comparant des méthodes existantes avec des nouvelles / In this thesis we study different relaxations of non-convex functionals that can be found in image processing. Some problems, such as image segmentation, can indeed be written as the minimization of a functional. The minimizer of the functional represents the segmentation. Different methods have been proposed in order to find local or global minima of the non-convex functional of the two-phase piecewise constant Mumford-Shah model. With a convex relaxation of this model we can find a global minimum of the nonconvex functional. We present and compare some of these methods and we propose a new model with a narrow band. This model finds local minima while using robust convex optimization algorithms. Then a convex relaxation of a two-phase segmentation model is built that compares two given histograms with those of the two segmented regions. We also study some relaxations of high-dimension multi-label problems such as optical flow computation. A convex relaxation with a new algorithm is proposed. The algorithm is iterative with exact projections. A new algorithm is given for a relaxationthat is convex in each variable but that is not convex globally. We study the problem of constructing a solution of the original non-convex problem with a solution of the relaxed problem. We compare existing methods with new ones.
|
4 |
Sécurisation de la couche physique des communications sans contact de type RFID et NFCThevenon, Pierre-henri 10 November 2011 (has links) (PDF)
L'avènement des communications en champ proche pour les transactions entre objets portables téléalimentés de type RFID pose un problème de sécurité. En effet, ces communications supportent non seulement la fonction de transfert d'information, mais aussi celle de transfert de puissance d'alimentation et d'horloge vers l'objet nomade. La sécurité des communications repose sur l'authentification des parties, l'intégrité des données et leur confidentialité. En général ces objets téléalimentés sont dits à ressources rares : c'est-à-dire que leur puissance de calcul et leurs possibilités pour se protéger sont limitées Ces caractéristiques font peser des menaces importantes sur la sécurité du lien sans contact et sur la protection des données personnelles parmi lesquelles quatre sont essentielles : 1) L'espionnage de la communication. 2) L'attaque en relais : L'intégrité de la communication peut être mise en danger par l'utilisation d'un système pouvant relayer à grande distance les commandes d'un lecteur RFID à une carte RFID. Les messages peuvent alors être écoutés, voire modifiés. La détection de la présence de tels dispositifs devient primordiale. 3) L'activation à distance d'une carte RFID. 4) Le déni de service. L'objectif de cette thèse sera de trouver des contre-mesures impliquant la couche physique et évitant la modification des normes actuelles à la fois dans les dispositifs de type étiquettes électroniques RFID et dans les téléphones portables de type NFC.
|
5 |
Techniques avancées de classification pour l'identification et la prédiction non intrusive de l'état des charges dans le bâtiment / Classifcation techniques for non-intrusive load monitoring and prediction of residential loadsBasu, Kaustav 14 November 2014 (has links)
Nous abordons dans ces travaux l’identification non intrusive des charges des bâtiments résidentiels ainsi que la prédiction de leur état futur. L'originalité de ces travaux réside dans la méthode utilisée pour obtenir les résultats voulus, à savoir l'analyse statistique des données(algorithmes de classification). Celle-ci se base sur des hypothèses réalistes et restrictives sans pour autant avoir de limitation sur les modèles comportementaux des charges (variations de charges ou modèles) ni besoin de la connaissance des changements d'état des charges. Ainsi, nous sommes en mesure d’identifier et/ou de prédire l'état des charges consommatrices d'énergie (et potentiellement contrôlables) en se basant uniquement sur une phase d'entrainement réduite et des mesures de puissance active agrégée sur un pas de mesure de dix minutes, préservant donc la vie privée des habitants.Dans cette communication, après avoir décrit la méthodologie développée pour classifier les charges et leurs états, ainsi que les connaissances métier fournies aux algorithmes, nous comparons les résultats d’identification pour cinq algorithmes tirés de l'état de l'art et les utilisons comme support d'application à la prédiction. Les algorithmes utilisés se différencient par leur capacité à traiter des problèmes plus ou moins complexe (notamment la prise en compte de relations entre les charges) et se ne révèlent pas tous appropriés à tout type de charge dans le bâtiment résidentiel / Smart metering is one of the fundamental units of a smart grid, as many further applicationsdepend on the availability of fine-grained information of energy consumption and production.Demand response techniques can be substantially improved by processing smart meter data to extractrelevant knowledge of appliances within a residence. The thesis aims at finding generic solutions for thenon-intrusive load monitoring and future usage prediction of residential loads at a low sampling rate.Load monitoring refers to the dis-aggregation of individual loads from the total consumption at thesmart meter. Future usage prediction of appliances are important from the energy management point ofview. In this work, state of the art multi-label temporal classification techniques are implemented usingnovel set of features. Moreover, multi-label classifiers are able to take inter-appliance correlation intoaccount. The methods are validated using a dataset of residential loads in 100 houses monitored over aduration of 1-year.
|
6 |
Sexisme et misogynie sur l’écosystème de Reddit : processus de négociation des normes sociales par une typologie d’actions mises en placeBeaudoin-Paul, Émilie 08 1900 (has links)
Dans le contexte actuel de la polarisation sur les réseaux sociaux, ce mémoire de maîtrise porte sur la négociation à plusieurs niveaux des normes sociales relatives au discours haineux, sur le forum de Reddit. La recherche s'articule autour de la régulation du contenu par les modérateurs et les utilisateurs. Le mémoire commence par présenter le forum Reddit, son histoire et son fonctionnement avant de développer une revue de littérature sur le discours de haine et le misogynie, notamment l'absence de consensus sur sa définition ainsi que les défis juridiques et opérationnels de sa régulation. Ensuite, pour comprendre comment les utilisateurs et les modérateurs de Reddit régulent les discours de haine misogyne, le cadre conceptuel développe le concept de normes sociales, en particulier les normes sociales en ligne. Parmi les autres concepts mobilisés figurent les chambres d'écho et la théorie de l'étiquetage. Une approche qualitative a été adoptée pour faire une analyse schématique d’un corpus de données empiriques publiquement disponibles sur Reddit qui a été sélectionné pour son lien avec le discours haineux misogyne. Cinq communautés (« subreddits ») ont été sélectionnées pour explorer la manière dont les discours misogynes sont régulés.
Les résultats présentent une typologie des actions disponibles pour les utilisateurs et les modérateurs, ainsi que les règles de Reddit et de chaque communauté sur lesquelles ils et elles s'appuient pour réguler le discours haineux misogyne. La typologie d'actions est représentée au sein de schémas répétitifs qui mettent en valeur la façon dont la régulation se produit sur les communautés. Plusieurs exemples illustratifs sont offerts de ces négociations réglementaires. La recherche conclue que l'étiquetage par les actions répétitives pourrait potentiellement contribuer à la négociation des normes sociales entre les utilisateurs et les modérateurs et ainsi avoir des effets sur la façon dont les échanges se produisent sur les fils de discussions, au sein du forum. Cette négociation des normes ferait donc un lien direct quant à la fine ligne qui subsiste entre la liberté d'expression et le discours haineux, et recadrer ce qui en constitue ou non, pour comprendre les types de discours acceptables sur cette plateforme. / In the current context of polarization on social networks, this Master's thesis examines the multi-level negotiation of social norms around hate speech on the Reddit forum. The research focuses on the regulation of content by moderators and users. The thesis begins by introducing the Reddit forum, its history and operations before developing a literature review on hate speech and misogyny, including a lack of consensus on its definition and the legal and operational challenges of regulating it. Then, to better understand how Reddit users and moderators regulate misogynous hate speech, the conceptual framework develops the concept of social norms, specifically online social norms. Other concept of echo chambers and labeling theory are also mobilized. The research adopts a qualitative approach to conduct schematic analysis of a body of publicly available empirical data on Reddit that was selected for its connection to misogynistic hate speech. Five communities (“subreddits”) were selected to explore how misogynistic speech is regulated.
In the findings, I present a typology of actions available to users and moderators, as well as the rules of Reddit and each community that they rely on to regulate misogynistic hate speech. The typology of actions is represented within repetitive patterns that highlight how regulation occurs on communities. Several illustrative examples are offered of these regulatory negotiations. The research concludes that labeling through repetitive actions could potentially contribute to the negotiation of social norms between users and moderators and thus have effects on the way exchanges occur on threads within the forum. This negotiation of norms would thus directly relate to the fine line that remains between free speech and hate speech, thus reframing what does and does not constitute hate speech, in order to understand the types of speech that are acceptable on this platform.
|
Page generated in 0.1152 seconds