• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 55
  • 22
  • 7
  • 1
  • Tagged with
  • 86
  • 15
  • 15
  • 12
  • 12
  • 12
  • 11
  • 10
  • 9
  • 8
  • 8
  • 8
  • 7
  • 7
  • 7
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
61

Towards privacy-preserving and fairness-enhanced item ranking in recommender systems

Sun, Jia Ao 07 1900 (has links)
Nous présentons une nouvelle approche de préservation de la vie privée pour améliorer l’équité des éléments dans les systèmes de classement. Nous utilisons des techniques de post-traitement dans un environnement de recommandation multipartite afin d’équilibrer l’équité et la protection de la vie privée pour les producteurs et les consommateurs. Notre méthode utilise des serveurs de calcul multipartite sécurisés (MPC) et une confidentialité différentielle (DP) pour maintenir la confidentialité des utilisateurs tout en atténuant l’injustice des éléments sans compromettre l’utilité. Les utilisateurs soumettent leurs données sous forme de partages secrets aux serveurs MPC, et tous les calculs sur ces données restent cryptés. Nous évaluons notre approche à l’aide d’ensembles de données du monde réel, tels qu’Amazon Digital Music, Book Crossing et MovieLens-1M, et analysons les compromis entre confidentialité, équité et utilité. Notre travail encourage une exploration plus approfondie de l’intersection de la confidentialité et de l’équité dans les systèmes de recommandation, jetant les bases de l’intégration d’autres techniques d’amélioration de la confidentialité afin d’optimiser l’exécution et l’évolutivité pour les applications du monde réel. Nous envisageons notre approche comme un tremplin vers des solutions de bout en bout préservant la confidentialité et promouvant l’équité dans des environnements de recommandation multipartites. / We present a novel privacy-preserving approach to enhance item fairness in ranking systems. We employ post-processing techniques in a multi-stakeholder recommendation environment in order to balance fairness and privacy protection for both producers and consumers. Our method utilizes secure multi-party computation (MPC) servers and differential privacy (DP) to maintain user privacy while mitigating item unfairness without compromising utility. Users submit their data as secret shares to MPC servers, and all calculations on this data remain encrypted. We evaluate our approach using real-world datasets, such as Amazon Digital Music, Book Crossing, and MovieLens-1M, and analyze the trade-offs between privacy, fairness, and utility. Our work encourages further exploration of the intersection of privacy and fairness in recommender systems, laying the groundwork for integrating other privacy-enhancing techniques to optimize runtime and scalability for real-world applications. We envision our approach as a stepping stone towards end-to-end privacy-preserving and fairness-promoting solutions in multi-stakeholder recommendation environments.
62

Les procédures de classement des élèves du secondaire avant et après le séjour en classe d’accueil dans la région métropolitaine de Montréal : une analyse sociologique

De Oliveira Soares, Roberta 10 1900 (has links)
La classe d’accueil est un service offert dans la région métropolitaine de Montréal aux élèves identifiés comme ayant besoin de soutien linguistique en français avant de poursuivre leurs études en classe ordinaire. Ces élèves passent par deux classements : un pour entrer et un autre pour sortir de la classe d’accueil. Peu de recherches se sont penchées jusqu’à présent sur les élèves appartenant à des groupes minorisés en classe d’accueil, des élèves qui se trouvent surreprésentés dans la suite de leur parcours éducatif en classe d’adaptation scolaire et dans d’autres filières moins sélectives. Dans le but de comprendre les procédures de classement des élèves du secondaire avant et après leur séjour en classe d’accueil dans la région métropolitaine de Montréal, à partir d’un cadre théorique sociologique inspiré des concepts d’habitus, de normalisation, d’altérisation et de stigmatisation intersectionnelle, cette recherche qualitative ethnographique documente les discours des acteurs scolaires impliqués dans les prises de décisions relatives aux classements des élèves avant et après le séjour en classe d’accueil ainsi que les discours des élèves soumis à ces décisions. Pour ce faire, nous avons analysé 28 documents (gouvernementaux, des centres de services scolaires, des échanges via courriel et des publications dans un groupe Facebook), 10 heures d’observation d’interactions sociales à différent moments de la vie scolaire (des rencontres de prévision de classement, une rencontre d’accueil de parents, des cours en classe d’accueil et des observations dans les couloirs d’une école) et 44 entretiens (dont 37 avec des intervenants scolaires – 14 enseignants, 12 conseillers pédagogiques, 3 professionnels dans d’autres types de soutien, 3 directions (adjointes) d’école et 5 professionnels dans d’autres postes administratifs – et 7 avec des élèves qui ont passé par un séjour en classe d’accueil lors de leurs études secondaires). Les principaux résultats soulignent que les élèves (et leurs parents) ne sont pas suffisamment informés au sujet du système éducatif de leur province d’accueil. Ils tendent ainsi à accepter les décisions de classements, incluant vers d’autres secteurs que la classe ordinaire (adaptation scolaire ou formation générale des adultes). Selon les intervenants scolaires, seule une partie des élèves répondrait à ce qui est exigé par le milieu d’accueil en termes de performance et de comportement et atteindrait donc la réussite éducative. Les élèves qui ne réussissent pas à s’adapter sont ceux jugés comme ayant des enjeux individuels ou liés à leur pays d’origine (ex. difficultés d’apprentissage, retard scolaire). Les intervenants scolaires interrogés mentionneraient peu fréquemment les enjeux structurels du milieu d’accueil, mis à part le manque de ressources. Cela se traduit par : 1) de longs séjours en classe d’accueil; 2) des classements en classe ordinaire en dessous du niveau âge des élèves; 3) des classements dans le secteur de la formation générale des adultes; ou 4) des classements dans le secteur de l’adaptation scolaire. Notre analyse signale une posture suprémaciste d’altérisation derrière le discours du « besoin » d’intégration et une pensée déficitaire en lien avec les préalables de la réussite. Ainsi, le séjour en classe d’accueil serait une forme de disciplinarisation. / The welcoming class is a service offered in the Montreal metropolitan region to students identified as needing French language support before continuing their studies in the mainstream class. These students go through two placements: one to enter and another to leave the welcoming class. Little research has until now focused on students belonging to minority groups in the welcoming class, students who find themselves overrepresented in the rest of their educational journey in special education classes and in other less selective sectors. In order to understand the procedures for placing secondary students before and after their stay in the welcoming class in the Montreal metropolitan region, from a sociological theoretical framework inspired by the concepts of habitus, normalization, othering and intersectional stigmatization, this qualitative ethnographic research documents the discourses of school actors involved in the decision-making on the placement of students before and after the stay in the welcoming class as well as the discourses of students subject to these decisions. To do this, we analyzed 28 documents (governmental, from school service centers, exchanges via email and publications in a Facebook group), 10 hours of observation of social interactions at different moments of school life (meetings concerning forecast placement, a parents’ welcoming meeting, courses in the welcoming class and observations in the corridors of a school) and 44 interviews (including 37 with school actors – 14 teachers, 12 educational advisers, 3 professionals in other types of support, 3 (deputy) school principals, and 5 professionals in other administrative positions – and 7 with students who went through a stay in the welcoming class during their secondary studies). The main results highlight that students (and their parents) are not sufficiently informed about the education system in their host province. They thus tend to accept placement decisions, including towards sectors other than the mainstream class (special education or general adult education). According to school workers, only a portion of students meet what is required by the host environment in terms of performance and behavior and would therefore achieve educational success. The students who fail to adapt are those judged as having individual issues or issues related to their country of origin (e.g., learning difficulties, academic delay). The school workers interviewed rarely mentioned the structural issues of the host environment, apart from the lack of resources. This results in: 1) long stays in the welcoming class; 2) placements in mainstream class below the age level of the students; 3) placements in the general adult education sector; or 4) placements in the special education sector. Our analysis points to a supremacist posture of othering behind the discourse of the “need” for integration and a deficit thinking linked to the prerequisites for success. Thus, the stay in the welcoming class would be a form of disciplinarization.
63

Kriging-assisted evolution strategy for optimization and application in material parameters identification / Contribution à l’optimisation évolutionnaire assistée par modèle de Krigeage : application à l’identification des paramètres en mécanique

Huang, Changwu 06 April 2017 (has links)
Afin de réduire le coût de calcul pour des problèmes d'optimisation coûteuse, cette thèse a été consacrée à la Stratégie d'Evolution avec Adaptation de Matrice de Covariance assistée par modèle de Krigeage (KA-CMA-ES). Plusieurs algorithmes de KA-CMA-ES ont été développés et étudiés. Une application de ces algorithmes KA-CMA-ES développés est réalisée par l'identification des paramètres matériels avec un modèle constitutif d'endommagement élastoplastique. Les résultats expérimentaux démontrent que les algorithmes KA-CMA-ES développés sont plus efficaces que le CMA-ES standard. Ils justifient autant que le KA-CMA-ES couplé avec ARP-EI est le plus performant par rapport aux autres algorithmes étudiés dans ce travail. Les résultats obtenus par l'algorithme ARP-EI dans l'identification des paramètres matériels montrent que le modèle d'endommagement élastoplastique utilisé est suffisant pour décrire le comportement d'endommage plastique et ductile. Ils prouvent également que la KA-CMA-ES proposée améliore l'efficace de la CMA-ES. Par conséquent, le KA-CMA-ES est plus puissant et efficace que CMA-ES pour des problèmes d'optimisation coûteuse. / In order to reduce the cost of solving expensive optimization problems, this thesis devoted to Kriging-Assisted Covariance Matrix Adaptation Evolution Strategy (KA-CMA-ES). Several algorithms of KA-CMA-ES were developed and a comprehensive investigation on KA-CMA-ES was performed. Then applications of the developed KA-CMA-ES algorithm were carried out in material parameter identification of an elastic-plastic damage constitutive model. The results of experimental studies demonstrated that the developed KA-CMA-ES algorithms generally are more efficient than the standard CMA-ES and that the KA-CMA-ES using ARP-EI has the best performance among all the investigated KA-CMA-ES algorithms in this work. The results of engineering applications of the algorithm ARP-EI in material parameter identification show that the presented elastic-plastic damage model is adequate to describe the plastic and ductile damage behavior and also prove that the proposed KA-CMA-ES algorithm apparently improve the efficiency of the standard CMA-ES. Therefore, the KA-CMA-ES is more powerful and efficient than CMA-ES for expensive optimization problems.
64

Modélisation statistique de la mortalité maternelle et néonatale pour l'aide à la planification et à la gestion des services de santé en Afrique Sub-Saharienne / Statistical modeling of maternal and neonatal mortality for help in planning and management of health services in sub-Saharan Africa

Ndour, Cheikh 19 May 2014 (has links)
L'objectif de cette thèse est de proposer une méthodologie statistique permettant de formuler une règle de classement capable de surmonter les difficultés qui se présentent dans le traitement des données lorsque la distribution a priori de la variable réponse est déséquilibrée. Notre proposition est construite autour d'un ensemble particulier de règles d'association appelées "class association rules". Dans le chapitre II, nous avons exposé les bases théoriques qui sous-tendent la méthode. Nous avons utilisé les indicateurs de performance usuels existant dans la littérature pour évaluer un classifieur. A chaque règle "class association rule" est associée un classifieur faible engendré par l'antécédent de la règle que nous appelons profils. L'idée de la méthode est alors de combiner un nombre réduit de classifieurs faibles pour constituer une règle de classement performante. Dans le chapitre III, nous avons développé les différentes étapes de la procédure d'apprentissage statistique lorsque les observations sont indépendantes et identiquement distribuées. On distingue trois grandes étapes: (1) une étape de génération d'un ensemble initial de profils, (2) une étape d'élagage de profils redondants et (3) une étape de sélection d'un ensemble optimal de profils. Pour la première étape, nous avons utilisé l'algorithme "apriori" reconnu comme l'un des algorithmes de base pour l'exploration des règles d'association. Pour la deuxième étape, nous avons proposé un test stochastique. Et pour la dernière étape un test asymptotique est effectué sur le rapport des valeurs prédictives positives des classifieurs lorsque les profils générateurs respectifs sont emboîtés. Il en résulte un ensemble réduit et optimal de profils dont la combinaison produit une règle de classement performante. Dans le chapitre IV, nous avons proposé une extension de la méthode d'apprentissage statistique lorsque les observations ne sont pas identiquement distribuées. Il s'agit précisément d'adapter la procédure de sélection de l'ensemble optimal lorsque les données ne sont pas identiquement distribuées. L'idée générale consiste à faire une estimation bayésienne de toutes les valeurs prédictives positives des classifieurs faibles. Par la suite, à l'aide du facteur de Bayes, on effectue un test d'hypothèse sur le rapport des valeurs prédictives positives lorsque les profils sont emboîtés. Dans le chapitre V, nous avons appliqué la méthodologie mise en place dans les chapitres précédents aux données du projet QUARITE concernant la mortalité maternelle au Sénégal et au Mali. / The aim of this thesis is to design a supervised statistical learning methodology that can overcome the weakness of standard methods when the prior distribution of the response variable is unbalanced. The proposed methodology is built using class association rules. Chapter II deals with theorical basis of statistical learning method by relating various classifiers performance metrics with class association rules. Since the classifier corresponding to a class association rules is a weak classifer, we propose to select a small number of such weak classifiers and to combine them in the aim to build an efficient classifier. In Chapter III, we develop the different steps of the statistical learning method when observations are independent and identically distributed. There are three main steps: In the first step, an initial set of patterns correlated with the target class is generated using "apriori" algorithm. In the second step, we propose a hypothesis test to prune redondant patterns. In the third step, an hypothesis test is performed based on the ratio of the positive predictive values of the classifiers when respective generating patterns are nested. This results in a reduced and optimal set of patterns whose combination provides an efficient classifier. In Chapter IV, we extend the classification method that we proposed in Chapter III in order to handle the case where observations are not identically distributed. The aim being here to adapt the procedure for selecting the optimal set of patterns when data are grouped data. In this setting we compute the estimation of the positive predictive values as the mean of the posterior distribution of the target class probability by using empirical Bayes method. Thereafter, using Bayes factor, a hypothesis test based on the ratio of the positive predictive values is carried out when patterns are nested. Chapter V is devoted to the application of the proposed methodology to process a real world dataset. We studied the QUARITE project dataset on maternal mortality in Senegal and Mali in order to provide a decision making tree that health care professionals can refer to when managing patients delivering in their health facilities.
65

On recommendation systems in a sequential context / Des Systèmes de Recommandation dans un Contexte Séquentiel

Guillou, Frédéric 02 December 2016 (has links)
Cette thèse porte sur l'étude des Systèmes de Recommandation dans un cadre séquentiel, où les retours des utilisateurs sur des articles arrivent dans le système l'un après l'autre. Après chaque retour utilisateur, le système doit le prendre en compte afin d'améliorer les recommandations futures. De nombreuses techniques de recommandation ou méthodologies d'évaluation ont été proposées par le passé pour les problèmes de recommandation. Malgré cela, l'évaluation séquentielle, qui est pourtant plus réaliste et se rapproche davantage du cadre d'évaluation d'un vrai système de recommandation, a été laissée de côté. Le contexte séquentiel nécessite de prendre en considération différents aspects non visibles dans un contexte fixe. Le premier de ces aspects est le dilemme dit d'exploration vs. exploitation: le modèle effectuant les recommandations doit trouver le bon compromis entre recueillir de l'information sur les goûts des utilisateurs à travers des étapes d'exploration, et exploiter la connaissance qu'il a à l'heure actuelle pour maximiser le feedback reçu. L'importance de ce premier point est mise en avant à travers une première évaluation, et nous proposons une approche à la fois simple et efficace, basée sur la Factorisation de Matrice et un algorithme de Bandit Manchot, pour produire des recommandations appropriées. Le second aspect pouvant apparaître dans le cadre séquentiel surgit dans le cas où une liste ordonnée d'articles est recommandée au lieu d'un seul article. Dans cette situation, le feedback donné par l'utilisateur est multiple: la partie explicite concerne la note donnée par l'utilisateur concernant l'article choisi, tandis que la partie implicite concerne les articles cliqués (ou non cliqués) parmi les articles de la liste. En intégrant les deux parties du feedback dans un modèle d'apprentissage, nous proposons une approche basée sur la Factorisation de Matrice, qui peut recommander de meilleures listes ordonnées d'articles, et nous évaluons cette approche dans un contexte séquentiel particulier pour montrer son efficacité. / This thesis is dedicated to the study of Recommendation Systems under a sequential setting, where the feedback given by users on items arrive one after another in the system. After each feedback, the system has to integrate it and try to improve future recommendations. Many techniques or evaluation methods have already been proposed to study the recommendation problem. Despite that, such sequential setting, which is more realistic and represent a closer framework to a real Recommendation System evaluation, has surprisingly been left aside. Under a sequential context, recommendation techniques need to take into consideration several aspects which are not visible for a fixed setting. The first one is the exploration-exploitation dilemma: the model making recommendations needs to find a good balance between gathering information about users' tastes or items through exploratory recommendation steps, and exploiting its current knowledge of the users and items to try to maximize the feedback received. We highlight the importance of this point through the first evaluation study and propose a simple yet efficient approach to make effective recommendation, based on Matrix Factorization and Multi-Armed Bandit algorithms. The second aspect emphasized by the sequential context appears when a list of items is recommended to the user instead of a single item. In such a case, the feedback given by the user includes two parts: the explicit feedback as the rating, but also the implicit feedback given by clicking (or not clicking) on other items of the list. By integrating both feedback into a Matrix Factorization model, we propose an approach which can suggest better ranked list of items, and we evaluate it in a particular setting.
66

Outils d'évaluation de la qualité d'un paramétrage de propriétés visuelles : cas des textures couleur

Sawadogo, Amadou 10 December 2009 (has links) (PDF)
De nos jours, les propriétés sensorielles des matériaux font l'objet d'une attention croissante tant au point de vue hédonique qu'utilitaire. Notre thèse s'inscrit dans une recherche visant à établir les bases d'une approche métrologique instrumentale permettant la caractérisation des similarités visuelles entre textures «de même nature». Notre objectif spécifique a été de faire le lien entre une évaluation métrologique instrumentale des textures «lumineuses» produites par des surfaces texturées colorées et une évaluation basée sur des tests psychophysiques réalisés par des observateurs humains. Ces tests psychophysiques ont consisté en des épreuves de classement d'images texturées colorées biphasées suivant un critère de contraste visuel. Les données de classement collectées ont été analysées à l'aide de deux approches statistiques. La première considère l'ajustement d'un modèle factoriel à effets fixes aux statistiques des rangs moyens. La seconde approche est basée sur l'ajustement aux données d'une extension du modèle de Mallows-Bradley-Terry (MBT), sous-classe du modèle de Babington Smith. L'estimation des paramètres des modèles de MBT par le maximum de vraisemblance a été résolue à l'aide d'algorithmes MM et une évaluation par une méthode MCMC du vecteur des scores. Un test d'hypothèse basé sur une statistique du rapport de vraisemblance évaluée par une méthode de Monte Carlo a été proposé pour décider entre l'hypothèse de discernabilité perceptive des textures et celle de non discernabilité. Les résultats obtenus par les deux approches montrent que la qualité sensorielle de contraste visuel se présente bien comme un continuum sensoriel que l'on peut quantifier en construisant perceptivement une échelle de discernabilité.
67

La classification à facettes pour la gestion des connaissances métier : méthodologie d'élaboration de FolkClassifications à facettes.

Desfriches Doria, Orélie 26 November 2013 (has links) (PDF)
Tout d'abord, nous abordons les problématiques liées à l'organisation et à la gestion des connaissances ainsi que les principes présidant à l'élaboration des classifications à facettes. Nous proposons ensuite une synthèse des méthodes existantes d'élaboration de classifications à facettes. Nous poursuivons en réalisant une analyse de l'impact des types de Systèmes d'Information sur l'activité de gestion de l'information. Ce faisant, nous produisons une analyse de l'activité inspirée de la Théorie de l'Activité, et influencée par les travaux de la psychologie du travail et de l'ergonomie cognitive. Le prototype Hypertagging développé dans le cadre du projet Miipa-Doc fondé sur le tagging des utilisateurs et structuré par les principes de la classification à facettes est présenté. Notre expérimentation sur l'élaboration de classifications à facettes pour la gestion des documents de travail est détaillée. Enfin, nous exposons notre méthodologie d'élaboration de FolkClassifications à facettes pour la gestion des connaissances métier. Elle vise à appuyer une démarche de gestion des connaissances sur la gestion personnelle de l'information
68

Automatic diagnosis of melanoma from dermoscopic images of melanocytic tumors : Analytical and comparative approaches / Automatic diagnosis of melanoma from digital images of melanocytic tumors : Analytical and comparative approaches

Wazaefi, Yanal 17 December 2013 (has links)
Le mélanome est la forme la plus grave de cancer de la peau. Cette thèse a contribué au développement de deux approches différentes pour le diagnostic assisté par ordinateur du mélanome : approche analytique et approche comparative.L'approche analytique imite le comportement du dermatologue en détectant les caractéristiques de malignité sur la base de méthodes analytiques populaires dans une première étape, et en combinant ces caractéristiques dans une deuxième étape. Nous avons étudié l’impacte d’un système du diagnostic automatique utilisant des images dermoscopique de lésions cutanées pigmentées sur le diagnostic de dermatologues. L'approche comparative, appelé concept du Vilain Petit Canard (VPC), suppose que les naevus chez le même patient ont tendance à partager certaines caractéristiques morphologiques ainsi que les dermatologues identifient quelques groupes de similarité. VPC est le naevus qui ne rentre dans aucune de ces groupes, susceptibles d'être mélanome. / Melanoma is the most serious type of skin cancer. This thesis focused on the development of two different approaches for computer-aided diagnosis of melanoma: analytical approach and comparative approach. The analytical approach mimics the dermatologist’s behavior by first detecting malignancy features based on popular analytical methods, and in a second step, by combining these features. We investigated to what extent the melanoma diagnosis can be impacted by an automatic system using dermoscopic images of pigmented skin lesions. The comparative approach, called Ugly Duckling (UD) concept, assumes that nevi in the same patient tend to share some morphological features so that dermatologists identify a few similarity clusters. UD is the nevus that does not fit into any of those clusters, likely to be suspicious. The goal was to model the ability of dermatologists to build consistent clusters of pigmented skin lesions in patients.
69

Optimizing ANN Architectures using Mixed-Integer Programming

ElAraby, Mostafa 08 1900 (has links)
Over-parameterized networks, where the number of parameters surpass the number of train-ing samples, generalize well on various tasks. However, large networks are computationally expensive in terms of the training and inference time. Furthermore, the lottery ticket hy-pothesis states that a subnetwork of a randomly initialized network can achieve marginal loss after training on a specific task compared to the original network. Therefore, there is a need to optimize the inference and training time, and a potential for more compact neural architectures. We introduce a novel approach “Optimizing ANN Architectures using Mixed-Integer Programming” (OAMIP) to find these subnetworks by identifying critical neurons and re-moving non-critical ones, resulting in a faster inference time. The proposed OAMIP utilizes a Mixed-Integer Program (MIP) for assigning importance scores to each neuron in deep neural network architectures. Our MIP is guided by the impact on the main learning task of the net-work when simultaneously pruning subsets of neurons. In concrete, the optimization of the objective function drives the solver to minimize the number of neurons, to limit the network to critical neurons, i.e., with high importance score, that need to be kept for maintaining the overall accuracy of the trained neural network. Further, the proposed formulation generalizes the recently considered lottery ticket hypothesis by identifying multiple “lucky” subnetworks, resulting in optimized architectures, that not only perform well on a single dataset, but also generalize across multiple ones upon retraining of network weights. Finally, we present a scalable implementation of our method by decoupling the importance scores across layers using auxiliary networks and across di˙erent classes. We demonstrate the ability of OAMIP to prune neural networks with marginal loss in accuracy and generalizability on popular datasets and architectures. / Les réseaux sur-paramétrés, où le nombre de paramètres dépasse le nombre de données, se généralisent bien sur diverses tâches. Cependant, les grands réseaux sont coûteux en termes d’entraînement et de temps d’inférence. De plus, l’hypothèse du billet de loterie indique qu’un sous-réseau d’un réseau initialisé de façon aléatoire peut atteindre une perte marginale après l’entrainement sur une tâche spécifique par rapport au réseau de référence. Par conséquent, il est nécessaire d’optimiser le temps d’inférence et d’entrainement, ce qui est possible pour des architectures neurales plus compactes. Nous introduisons une nouvelle approche “Optimizing ANN Architectures using Mixed-Integer Programming” (OAMIP) pour trouver ces sous-réseaux en identifiant les neurones importants et en supprimant les neurones non importants, ce qui permet d’accélérer le temps d’inférence. L’approche OAMIP proposée fait appel à un programme mixte en nombres entiers (MIP) pour attribuer des scores d’importance à chaque neurone dans les architectures de modèles profonds. Notre MIP est guidé par l’impact sur la principale tâche d’apprentissage du réseau en élaguant simultanément les neurones. En définissant soigneusement la fonction objective du MIP, le solveur aura une tendance à minimiser le nombre de neurones, à limiter le réseau aux neurones critiques, c’est-à-dire avec un score d’importance élevé, qui doivent être conservés pour maintenir la précision globale du réseau neuronal formé. De plus, la formulation proposée généralise l’hypothèse des billets de loterie récemment envisagée en identifiant de multiples sous-réseaux “chanceux”. Cela permet d’obtenir des architectures optimisées qui non seulement fonctionnent bien sur un seul ensemble de données, mais aussi se généralisent sur des di˙érents ensembles de données lors du recyclage des poids des réseaux. Enfin, nous présentons une implémentation évolutive de notre méthode en découplant les scores d’importance entre les couches à l’aide de réseaux auxiliaires et entre les di˙érentes classes. Nous démontrons la capacité de notre formulation à élaguer les réseaux de neurones avec une perte marginale de précision et de généralisabilité sur des ensembles de données et des architectures populaires.
70

Context-aware ranking : from search to dialogue

Zhu, Yutao 03 1900 (has links)
Les systèmes de recherche d'information (RI) ou moteurs de recherche ont été largement utilisés pour trouver rapidement les informations pour les utilisateurs. Le classement est la fonction centrale de la RI, qui vise à ordonner les documents candidats dans une liste classée en fonction de leur pertinence par rapport à une requête de l'utilisateur. Alors que IR n'a considéré qu'une seule requête au début, les systèmes plus récents prennent en compte les informations de contexte. Par exemple, dans une session de recherche, le contexte de recherche tel que le requêtes et interactions précédentes avec l'utilisateur, est largement utilisé pour comprendre l'intention de la recherche de l'utilisateur et pour aider au classement des documents. En plus de la recherche ad-hoc traditionnelle, la RI a été étendue aux systèmes de dialogue (c'est-à-dire, le dialogue basé sur la recherche, par exemple, XiaoIce), où on suppose avoir un grand référentiel de dialogues et le but est de trouver la réponse pertinente à l'énoncé courant d'un utilisateur. Encore une fois, le contexte du dialogue est un élément clé pour déterminer la pertinence d'une réponse. L'utilisation des informations contextuelles a fait l'objet de nombreuses études, allant de l'extraction de mots-clés importants du contexte pour étendre la requête ou l'énoncé courant de dialogue, à la construction d'une représentation neuronale du contexte qui sera utilisée avec la requête ou l'énoncé de dialogue pour la recherche. Nous remarquons deux d'importantes insuffisances dans la littérature existante. (1) Pour apprendre à utiliser les informations contextuelles, on doit extraire des échantillons positifs et négatifs pour l'entraînement. On a généralement supposé qu'un échantillon positif est formé lorsqu'un utilisateur interagit avec (clique sur) un document dans un contexte, et un un échantillon négatif est formé lorsqu'aucune interaction n'est observée. En réalité, les interactions des utilisateurs sont éparses et bruitées, ce qui rend l'hypothèse ci-dessus irréaliste. Il est donc important de construire des exemples d'entraînement d'une manière plus appropriée. (2) Dans les systèmes de dialogue, en particulier les systèmes de bavardage (chitchat), on cherche à trouver ou générer les réponses sans faire référence à des connaissances externes, ce qui peut facilement provoquer des réponses non pertinentes ou des hallucinations. Une solution consiste à fonder le dialogue sur des documents ou graphe de connaissances externes, où les documents ou les graphes de connaissances peuvent être considérés comme de nouveaux types de contexte. Le dialogue fondé sur les documents et les connaissances a été largement étudié, mais les approches restent simplistes dans la mesure où le contenu du document ou les connaissances sont généralement concaténés à l'énoncé courant. En réalité, seules certaines parties du document ou du graphe de connaissances sont pertinentes, ce qui justifie un modèle spécifique pour leur sélection. Dans cette thèse, nous étudions le problème du classement de textes en tenant compte du contexte dans le cadre de RI ad-hoc et de dialogue basé sur la recherche. Nous nous concentrons sur les deux problèmes mentionnés ci-dessus. Spécifiquement, nous proposons des approches pour apprendre un modèle de classement pour la RI ad-hoc basée sur des exemples d'entraîenemt sélectionnés à partir d'interactions utilisateur bruitées (c'est-à-dire des logs de requêtes) et des approches à exploiter des connaissances externes pour la recherche de réponse pour le dialogue. La thèse est basée sur cinq articles publiés. Les deux premiers articles portent sur le classement contextuel des documents. Ils traitent le problème ovservé dans les études existantes, qui considèrent tous les clics dans les logs de recherche comme des échantillons positifs, et prélever des documents non cliqués comme échantillons négatifs. Dans ces deux articles, nous proposons d'abord une stratégie d'augmentation de données non supervisée pour simuler les variations potentielles du comportement de l'utilisateur pour tenir compte de la sparcité des comportements des utilisateurs. Ensuite, nous appliquons l'apprentissage contrastif pour identifier ces variations et à générer une représentation plus robuste du comportement de l'utilisateur. D'un autre côté, comprendre l'intention de recherche dans une session de recherche peut représentent différents niveaux de difficulté - certaines intentions sont faciles à comprendre tandis que d'autres sont plus difficiles et nuancées. Mélanger directement ces sessions dans le même batch d'entraînement perturbera l'optimisation du modèle. Par conséquent, nous proposons un cadre d'apprentissage par curriculum avec des examples allant de plus faciles à plus difficiles. Les deux méthodes proposées obtiennent de meilleurs résultats que les méthodes existantes sur deux jeux de données de logs de requêtes réels. Les trois derniers articles se concentrent sur les systèmes de dialogue fondé les documents/connaissances. Nous proposons d'abord un mécanisme de sélection de contenu pour le dialogue fondé sur des documents. Les expérimentations confirment que la sélection de contenu de document pertinent en fonction du contexte du dialogue peut réduire le bruit dans le document et ainsi améliorer la qualité du dialogue. Deuxièmement, nous explorons une nouvelle tâche de dialogue qui vise à générer des dialogues selon une description narrative. Nous avons collecté un nouveau jeu de données dans le domaine du cinéma pour nos expérimentations. Les connaissances sont définies par une narration qui décrit une partie du scénario du film (similaire aux dialogues). Le but est de créer des dialogues correspondant à la narration. À cette fin, nous concevons un nouveau modèle qui tient l'état de la couverture de la narration le long des dialogues et déterminer la partie non couverte pour le prochain tour. Troisièmement, nous explorons un modèle de dialogue proactif qui peut diriger de manière proactive le dialogue dans une direction pour couvrir les sujets requis. Nous concevons un module de prédiction explicite des connaissances pour sélectionner les connaissances pertinentes à utiliser. Pour entraîner le processus de sélection, nous générons des signaux de supervision par une méthode heuristique. Les trois articles examinent comment divers types de connaissances peuvent être intégrés dans le dialogue. Le contexte est un élément important dans la RI ad-hoc et le dialogue, mais nous soutenons que le contexte doit être compris au sens large. Dans cette thèse, nous incluons à la fois les interactions précédentes avec l'utilisateur, le document et les connaissances dans le contexte. Cette série d'études est un pas dans la direction de l'intégration d'informations contextuelles diverses dans la RI et le dialogue. / Information retrieval (IR) or search systems have been widely used to quickly find desired information for users. Ranking is the central function of IR, which aims at ordering the candidate documents in a ranked list according to their relevance to a user query. While IR only considered a single query in the early stages, more recent systems take into account the context information. For example, in a search session, the search context, such as the previous queries and interactions with the user, is widely used to understand the user's search intent and to help document ranking. In addition to the traditional ad-hoc search, IR has been extended to dialogue systems (i.e., retrieval-based dialogue, e.g., XiaoIce), where one assumes a large repository of previous dialogues and the goal is to retrieve the most relevant response to a user's current utterance. Again, the dialogue context is a key element for determining the relevance of a response. The utilization of context information has been investigated in many studies, which range from extracting important keywords from the context to expand the query or current utterance, to building a neural context representation used with the query or current utterance for search. We notice two important insufficiencies in the existing literature. (1) To learn to use context information, one has to extract positive and negative samples for training. It has been generally assumed that a positive sample is formed when a user interacts with a document in a context, and a negative sample is formed when no interaction is observed. In reality, user interactions are scarce and noisy, making the above assumption unrealistic. It is thus important to build more appropriate training examples. (2) In dialogue systems, especially chitchat systems, responses are typically retrieved or generated without referring to external knowledge. This may easily lead to hallucinations. A solution is to ground dialogue on external documents or knowledge graphs, where the grounding document or knowledge can be seen as new types of context. Document- and knowledge-grounded dialogue have been extensively studied, but the approaches remain simplistic in that the document content or knowledge is typically concatenated to the current utterance. In reality, only parts of the grounding document or knowledge are relevant, which warrant a specific model for their selection. In this thesis, we study the problem of context-aware ranking for ad-hoc document ranking and retrieval-based dialogue. We focus on the two problems mentioned above. Specifically, we propose approaches to learning a ranking model for ad-hoc retrieval based on training examples selected from noisy user interactions (i.e., query logs), and approaches to exploit external knowledge for response retrieval in retrieval-based dialogue. The thesis is based on five published articles. The first two articles are about context-aware document ranking. They deal with the problem in the existing studies that consider all clicks in the search logs as positive samples, and sample unclicked documents as negative samples. In the first paper, we propose an unsupervised data augmentation strategy to simulate potential variations of user behavior sequences to take into account the scarcity of user behaviors. Then, we apply contrastive learning to identify these variations and generate a more robust representation for user behavior sequences. On the other hand, understanding the search intent of search sessions may represent different levels of difficulty -- some are easy to understand while others are more difficult. Directly mixing these search sessions in the same training batch will disturb the model optimization. Therefore, in the second paper, we propose a curriculum learning framework to learn the training samples in an easy-to-hard manner. Both proposed methods achieve better performance than the existing methods on two real search log datasets. The latter three articles focus on knowledge-grounded retrieval-based dialogue systems. We first propose a content selection mechanism for document-grounded dialogue and demonstrate that selecting relevant document content based on dialogue context can effectively reduce the noise in the document and increase dialogue quality. Second, we explore a new task of dialogue, which is required to generate dialogue according to a narrative description. We collect a new dataset in the movie domain to support our study. The knowledge is defined as a narrative that describes a part of a movie script (similar to dialogues). The goal is to create dialogues corresponding to the narrative. To this end, we design a new model that can track the coverage of the narrative along the dialogues and determine the uncovered part for the next turn. Third, we explore a proactive dialogue model that can proactively lead the dialogue to cover the required topics. We design an explicit knowledge prediction module to select relevant pieces of knowledge to use. To train the selection process, we generate weak-supervision signals using a heuristic method. All of the three papers investigate how various types of knowledge can be integrated into dialogue. Context is an important element in ad-hoc search and dialogue, but we argue that context should be understood in a broad sense. In this thesis, we include both previous interactions and the grounding document and knowledge as part of the context. This series of studies is one step in the direction of incorporating broad context information into search and dialogue.

Page generated in 0.252 seconds