• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 24
  • 16
  • 9
  • 1
  • Tagged with
  • 53
  • 53
  • 53
  • 47
  • 37
  • 35
  • 33
  • 16
  • 16
  • 14
  • 14
  • 14
  • 13
  • 13
  • 13
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
41

Recurrent neural models and related problems in natural language processing

Zhang, Saizheng 04 1900 (has links)
No description available.
42

Marqueurs discursifs de neurodégénérescence liée à la pathologie Alzheimer

Slegers, Antoine 06 1900 (has links)
La maladie d’Alzheimer (MA) et les aphasies progressives primaires (APP) s’accompagnent de perturbations du langage expressif parfois subtiles, mais précoces dans l’évolution de ces maladies neurodégénératives. Considérés dans une approche automatisée, ces changements pourraient constituer des marqueurs de dégénérescence identifiés de façon non invasive et peu onéreuse. À ce titre, ils font l’objet d’études visant à automatiser leur utilisation clinique. Cependant, l’intégration des marqueurs langagiers à une approche diagnostique centrée sur les biomarqueurs reste à faire. À cette fin, la présente thèse a deux objectifs. D’abord, recenser systématiquement les marqueurs du discours qui distinguent le mieux les personnes avec une MA de témoins en santé. Ensuite, appliquer une approche automatisée et à un large éventail de marqueurs de discours pour identifier, dans un groupe hétérogène de patients avec une APP, lesquels ont une pathologie Alzheimer sous-jacente. Afin de mettre en contexte ces deux objectifs, nous proposons une introduction générale comprenant les éléments suivants : la pathophysiologie de la MA et des APP, le rôle croissant des biomarqueurs dans la prise de décision clinique dans les maladies neurodégénératives, les études pionnières du discours en neurodégénérescence, ainsi que de récentes études computationnelles sur les marqueurs de discours dans la MA et les APP. Nos résultats font émerger un patron multidimensionnel (acoustique, lexical, syntaxique, sémantique et pragmatique) de changements langagiers qui distinguent les personnes avec une MA de témoins en santé, avec une prépondérance des marqueurs lexicosémantiques. Dans le groupe de patients avec une APP avec une imagerie amyloïde positive ou négative, nous mesurons ensuite le pouvoir de classification d’un court échantillon de discours et montrons qu’il peut être avantageusement comparé à d’autres biomarqueurs. Nous discutons du patron spécifique de marqueurs discriminants pour ce sous-groupe de patients, notamment l’importance des marqueurs psycholinguistiques pour prédire le résultat de l’imagerie amyloïde à partir du discours. / Alzheimer’s disease (AD) and primary progressive aphasias (PPA) feature changes in expressive language that appear early in the course of the disease. Within an automated analysis framework, these language changes could offer a non-invasive and inexpensive alternative to the collection of biomarkers which are not readily available in most settings. Current research is thus focused on the automated analysis of language data for clinical use. The usefulness of connected speech (CS) markers has not yet been established in a diagnostic perspective focused on biomarkers. To this aim, the present thesis contains two phases. First, we systematically review the CS markers that best differentiate persons with AD from healthy controls. Second, we automatically extract a wide array of CS markers in a heterogenous group of PPA patients by combining expert knowledge and the latest natural language processing software. A machine-learning classification approach identifies PPA patients for the presence of underlying AD pathology. The most discriminant CS features are identified. To integrate the two phases of the thesis, we provide a general introduction with the following sections: the pathophysiology of AD and PPAs, the growing importance of biomarkers in clinical decision-making for neurodegenerative diseases, the seminal studies of CS in neurodegenerative diseases, and the latest computational studies of CS markers in AD and PPA. Our results bring forth a multidimensional pattern (acoustic, lexical, syntactic, semantic, pragmatic) of language changes that distinguish people with AD from healthy controls, with an emphasis on lexical-semantic features. In the group of PPA patients with either positive or negative amyloid imaging, we then describe the classificatory power of a short sample of CS and show that it compares favorably to other biomarkers. We discuss the specific pattern of discriminant markers for this subgroup of patients, in particular the role of psycholinguistics.
43

La protection des renseignements personnels dans l'exploitation des assistants vocaux.

Rouhana, Jad 09 1900 (has links)
Les assistants vocaux ont mis au jour une nouvelle manière pour l’humain d’interagir avec les technologies en n’utilisant que la voix. Une technologie qui est également évolutive et interactive grâce à l’intelligence artificielle. Nous verrons que les caractéristiques techniques et logicielles les composant concourent à une collecte massive de renseignements personnels par les entreprises. L’imprécision des politiques de confidentialité, l’absence d’information sur le mode de fonctionnement, l’imperfection du traitement automatique du langage naturel (ci-après le « TALN ») caractérisée par les faux positifs et les difficultés inhérentes à l’exercice par l’individu de certains de ses droits tendent à limiter l’effectivité des différentes lois existantes à l’assistant vocal. En outre, la possibilité pour plusieurs personnes d’interagir avec l’objet ainsi que son absence d’autonomie tendent à compliquer l’application des régimes de responsabilité civile, dont celui résultant du fait des biens. Cette apparition récente de l’assistant vocal n’a pour l’heure pas permis au juge de se prononcer pour faire évoluer les jurisprudences relatives au droit à la vie privée, à la protection des renseignements personnels et à la responsabilité civile. Celles déjà existantes ne semblent plus être adaptées à ce contexte technologique autour de l’assistant vocal, et plus généralement autour de la voix. C’est ainsi que le test de Oakes, permettant de déterminer le caractère raisonnable d’une violation des droits et libertés énoncés dans la Charte canadienne, repris pour être appliqué à la LPRPDE, apparaît comme étant inadapté à ce nouveau contexte technologique. Enfin, le manque de pouvoirs conférés aux autorités compétentes représente un obstacle majeur dans le suivi de l’application des règles de droit. / Voice assistants bring a new way for humans to interact with technology by only using their voice. Scalable and interactive technology thanks to artificial intelligence. We will see that the technical and software characteristics of voice assistants contribute to a massive collection of personal information by companies. The imprecision of confidentiality policies, the absence of information on the mode of operation, the imperfection of the Natural Language Processing characterized by false positives and the difficulties inherent in the exercise by individuals of some of their rights contribute to the mismatch between voice assistants and various existing laws. In addition, the possibility for people to interact with the object as well as its lack of autonomy tend to complicate the application of civil liability regimes, including that resulting from the act of thing. This recent appearance of voice assistants has so far not giving judges the possibility to rule on the right to privacy, protection of personal information and civil liability. Current case law doesn’t seem to be well adapted to the technological context around the voice assistant, and more generally the voice. The Oakes test, which was design to determining the reasonableness of a violation of the rights and freedoms set out in the Canadian Charter, appears to be unsuited to this new context. We will see that the lack of powers conferred on the competent authorities represents a major obstacle in monitoring the application of the rule of law.
44

Regroupement de textes avec des approches simples et efficaces exploitant la représentation vectorielle contextuelle SBERT

Petricevic, Uros 12 1900 (has links)
Le regroupement est une tâche non supervisée consistant à rassembler les éléments semblables sous un même groupe et les éléments différents dans des groupes distincts. Le regroupement de textes est effectué en représentant les textes dans un espace vectoriel et en étudiant leur similarité dans cet espace. Les meilleurs résultats sont obtenus à l’aide de modèles neuronaux qui affinent une représentation vectorielle contextuelle de manière non supervisée. Or, cette technique peuvent nécessiter un temps d’entraînement important et sa performance n’est pas comparée à des techniques plus simples ne nécessitant pas l’entraînement de modèles neuronaux. Nous proposons, dans ce mémoire, une étude de l’état actuel du domaine. Tout d’abord, nous étudions les meilleures métriques d’évaluation pour le regroupement de textes. Puis, nous évaluons l’état de l’art et portons un regard critique sur leur protocole d’entraînement. Nous proposons également une analyse de certains choix d’implémentation en regroupement de textes, tels que le choix de l’algorithme de regroupement, de la mesure de similarité, de la représentation vectorielle ou de l’affinage non supervisé de la représentation vectorielle. Finalement, nous testons la combinaison de certaines techniques ne nécessitant pas d’entraînement avec la représentation vectorielle contextuelle telles que le prétraitement des données, la réduction de dimensionnalité ou l’inclusion de Tf-idf. Nos expériences démontrent certaines lacunes dans l’état de l’art quant aux choix des métriques d’évaluation et au protocole d’entraînement. De plus, nous démontrons que l’utilisation de techniques simples permet d’obtenir des résultats meilleurs ou semblables à des méthodes sophistiquées nécessitant l’entraînement de modèles neuronaux. Nos expériences sont évaluées sur huit corpus issus de différents domaines. / Clustering is an unsupervised task of bringing similar elements in the same cluster and different elements in distinct groups. Text clustering is performed by representing texts in a vector space and studying their similarity in this space. The best results are obtained using neural models that fine-tune contextual embeddings in an unsupervised manner. However, these techniques require a significant amount of training time and their performance is not compared to simpler techniques that do not require training of neural models. In this master’s thesis, we propose a study of the current state of the art. First, we study the best evaluation metrics for text clustering. Then, we evaluate the state of the art and take a critical look at their training protocol. We also propose an analysis of some implementation choices in text clustering, such as the choice of clustering algorithm, similarity measure, contextual embeddings or unsupervised fine-tuning of the contextual embeddings. Finally, we test the combination of contextual embeddings with some techniques that don’t require training such as data preprocessing, dimensionality reduction or Tf-idf inclusion. Our experiments demonstrate some shortcomings in the state of the art regarding the choice of evaluation metrics and the training protocol. Furthermore, we demonstrate that the use of simple techniques yields better or similar results to sophisticated methods requiring the training of neural models. Our experiments are evaluated on eight benchmark datasets from different domains.
45

Conception dirigée par les modèles à l’aide de langages de modélisation hétérogènes : application aux profils UML / Model-driven engineering using heterogeneous modeling languages : application to UML profiles

Noyrit, Florian 25 October 2012 (has links)
Les divers intervenants qui décrivent, étudient et réalisent un système complexe ont besoin de points de vue adaptés à leurs préoccupations. Cependant, dans le contexte de l’Ingénierie Dirigée par les Modèles, les moyens pour définir et mettre en œuvre ces points de vue sont, soit trop rigides et inadaptées, soit totalement ad hoc. De plus, ces différents points de vue sont rarement indépendants les uns des autres. Dès lors, il faut s’attacher à identifier puis décrire les liens/les correspondances qui existent entre les points de vue pour enfin pouvoir vérifier que les réponses apportées par les différents intervenants constituent un tout cohérent.Les travaux exposés dans cette thèse permettent la définition de langages dédiés basés sur UML pour les points de vue. Pour cela, une méthode outillée qui analyse la sémantique des descriptions textuelles des concepts du domaine que l’on souhaite projeter sur UML est proposée afin de faciliter la définition de profils UML. Les résultats obtenus sur les cas d’études concrets étudiés sont encourageants et dépassent les résultats des outils existants. Pour définir des points de vue basés sur des profils UML, cette thèse propose une méthode qui permet au méthodologiste d’expliciter le point de vue voulu. Un outil génère ensuite l’outillage qui met en œuvre ce point de vue dans un environnement de modélisation ainsi que le langage dédié correspondant là où la pratique actuelle repose sur une mise en œuvre essentiellement manuelle.Pour assister l’identification des liens entre points de vue, cette thèse propose là aussi d’analyser la sémantique des descriptions textuelles des concepts des langages utilisés par les points de vue. Utilisée en complément des heuristiques syntaxiques existantes, l’approche proposée permet d’obtenir de bons résultats lorsque les terminologies des langages analysés sont éloignées. Un cadre théorique basé sur la théorie des catégories est proposé pour expliciter formellement les correspondances. Pour utiliser ce cadre, une catégorie pour les langages basés sur UML a été proposée. Afin de pouvoir également expliciter les correspondances entre les modèles issus de ces langages, la catégorie des ontologies OWL est utilisée. Une solution est proposée pour caractériser des correspondances plus complexes que la simple équivalence. Ce cadre théorique permet la définition formelle de relations complexes qui permettront de raisonner sur la cohérence de la description de l’architecture. Une fois la description de l’architecture intégrée en un tout en suivant les correspondances formalisées, la question de la cohérence est abordée. Les expérimentations faites sur un cas d’étude concret pour vérifier la cohérence à un niveau syntaxique donnent des résultats pratiques satisfaisants. Les expérimentations menées sur le même cas pour vérifier la cohérence à un niveau sémantique ne donnent pas de résultats pratiques satisfaisants. / The various stakeholders who describe study and implement a complex system require viewpoints that are dedicated to their concerns. However, in the context of Model-Driven Engineering, approaches to define and implement those viewpoints are either too rigid and inappropriate or completely ad hoc. In addition, those various viewpoints are rarely independent from each other. Therefore, we must strive to identify and describe the relationships/correspondences between the viewpoints in order to be able to verify that the parts of the solution given by the various stakeholders form a consistent whole.The work presented in this thesis provides a way to define dedicated languages based on UML for the viewpoints. For this, a method that analyzes the semantics of the textual descriptions of the concepts of the domain we want to map to UML has been implemented to facilitate the definition of UML profiles. The results we get on the concrete test cases we considered are encouraging and go beyond results of existing tools. To define a viewpoint based on some UML profiles, this thesis provides a method that lets the methodologist make explicit the viewpoint he/she wants. A tool can then generate the tooling that implements this viewpoint in a modeling environment together with the corresponding dedicated language while current practice is based on an implementation essentially manual.To assist the identification of relationships between the viewpoints, this thesis proposes again to analyze the semantics of textual descriptions of concepts of the languages used by the viewpoints. Used in combination with existing syntactic heuristics, the proposed approach provides good results when the terminologies of the languages that are analyzed are far apart. A theoretical framework based on category theory is provided to make explicit formally correspondences. To use this framework, a category for languages based on UML has been proposed. To be able to make explicit the correspondences between the models of those languages as well, the category of OWL ontologies is used. A solution is proposed to characterize correspondences that are more complex than the simple equivalence relationship. This theoretical framework provides a way to define formally complex relationships that can be used to verify the consistency of the architectural description. Once the description of the architecture has been integrated according to the formal correspondences, the issue of consistency is considered. The experiments carried out on a concrete test case to verify consistency on a syntactic perspective give satisfactory practical results. The experiments carried on the same test case to verify consistency on a semantic perspective don’t give satisfactory practical results.
46

Expérimentation de la cartographie conceptuelle comme dispositif de collecte de données en vue de l’évaluation des apprentissages

Morin, Maxim 08 1900 (has links)
No description available.
47

Extraction de phrases parallèles à partir d’un corpus comparable avec des réseaux de neurones récurrents bidirectionnels

Grégoire, Francis 12 1900 (has links)
No description available.
48

Fouille de Textes : de l'extraction des descripteurs linguistiques à leur induction

Roche, Mathieu 09 December 2011 (has links) (PDF)
Les masses de données textuelles aujourd'hui disponibles engendrent un problème difficile lié à leur traitement automatique. Dans ce cadre, des méthodes de Fouille de Textes (FT) et de Traitement Automatique du Langage (TAL) peuvent, en partie, répondre à une telle problématique. Elles consistent à modéliser puis mettre en œuvre des méthodologies appliquées aux données textuelles afin d'en déterminer le sens et/ou découvrir des connaissances nouvelles. Dans ce processus, le descripteur linguistique constitue un élément pivot. Après une présentation des méthodes de traitement des descripteurs en eux-mêmes, ces derniers seront étudiés en contexte, c'est-à-dire en corpus. L'identification des descripteurs est souvent difficile à partir de corpus bruités et à faible contenu textuel sur lesquels nous concentrons nos efforts (par exemple, corpus issus du Web 2.0 ou du traitement OCR). Outre les mots considérés comme des descripteurs linguistiques pertinents en FT, nous nous sommes également intéressés à l'étude des syntagmes complexes à partir de corpus classiques puis d'une terminologie classique à partir de corpus complexes (par exemple, données logs ou corpus en français médiéval). Dans la suite, les syntagmes étudiés ne se situent plus à proprement parler dans les textes mais ils seront induits à partir des mots issus des corpus. Les méthodes proposées permettent de mettre en relief des syntagmes originaux tout à fait utiles pour l'identification d'Entités Nommées, le titrage automatique ou la construction de classes conceptuelles. Contrairement au raisonnement déductif, le raisonnement inductif est dit hypothétique. Dans ce cadre, l'utilisation de méthodes de validation automatique des relations induites par le biais d'approches de Fouille du Web se révèle déterminant. Les perspectives à ce travail se concentreront sur l'extraction de nouveaux descripteurs. Ces derniers seront associés à de nouvelles représentations sous forme d'entrepôts de données textuelles. Enfin, les travaux que nous souhaitons développer se focaliseront sur l'analyse des textes dans un contexte plus vaste lié au multimédia que le paradigme du Web 2.0 a mis en exergue ces dernières années.
49

Un langage contrôlé pour les instructions nautiques du Service Hydographique et Océanographique de la Marine / A controlled language for the french national Hydrographic and Oceanographic Service Coast Pilot Books instructions nautiques

Sauvage-Vincent, Julie 16 January 2017 (has links)
Les langages contrôlés sont des langages artificiellement définis utilisant un sous-ensemble du vocabulaire, des formes morphologiques, des constructions syntaxiques d'une langue naturelle tout en en éliminant la polysémie. En quelque sorte, ils constituent le pont entre les langages formels et les langues naturelles. De ce fait, ils remplissent la fonction de communication du médium texte tout en étant rigoureux et analysables par la machine sans ambiguïté. En particulier, ils peuvent être utilisés pour faciliter l'alimentation de bases de connaissances, dans le cadre d'une interface homme-machine.Le Service Hydrographique et Océanographique de la Marine (SHOM) publie depuis 1971 les Instructions nautiques, des recueils de renseignements généraux, nautiques et réglementaires, destinés aux navigateurs. Ces ouvrages complètent les cartes marines. Elles sont obligatoires à bord des navires de commerce et de pêche. D'autre part, l'Organisation Hydrographique Internationale (OHI) a publié des normes spécifiant l'échange de données liées à la navigation et notamment un modèle universel de données hydrographiques (norme S-100, janvier 2010). Cette thèse se propose d'étudier l'utilisation d'un langage contrôlé pour représenter des connaissances contenues dans les Instructions nautiques, dans le but de servir de pivot entre la rédaction du texte par l'opérateur dédié, la production de l'ouvrage imprimé ou en ligne, et l'interaction avec des bases de connaissances et des outils d'aide à la navigation. En particulier on étudiera l'interaction entre le langage contrôlé des Instructions nautiques et les cartes électroniques correspondantes. Plus généralement, cette thèse se pose la question de l'évolution d'un langage contrôlé et des ontologies sous-jacentes dans le cadre d'une application comme les Instructions nautiques, qui ont la particularité d'avoir des aspects rigides (données numériques, cartes électroniques, législation) et des aspects nécessitant une certaine flexibilité (rédaction du texte par des opérateurs humains, imprévisibilité du type de connaissance à inclure par l'évolution des usages et des besoins des navigants). De manière similaire aux ontologies dynamiques que l'on rencontre dans certains domaines de connaissance, on définit ici un langage contrôlé dynamique. Le langage contrôlé décrit dans cette thèse constitue une contribution intéressante pour la communauté concernée puisqu'il touche au domaine maritime, domaine encore inexploité dans l'étude des langages contrôlés, mais aussi parce qu'il présente un aspect hybride, prenant en compte les multiples modes (textuel et visuel) présents dans le corpus constitué par les Instructions nautiques et les documents qu'elles accompagnent. Bien que créé pour le domaine de la navigation maritime, les mécanismes du langage contrôlé présentés dans cette thèse ont le potentiel pour être adaptés à d'autres domaines utilisant des corpus multimodaux. Enfin, les perspectives d'évolution pour un langage contrôlé hybride sont importantes puisqu'elles peuvent exploiter les différents avantages des modes en présence (par exemple, une exploitation de l'aspect visuel pour une extension 3D). / Controlled Natural Languages (CNL) are artificial languages that use a subset of the vocabulary, morphological forms and syntactical constructions of a natural language while eliminating its polysemy. In a way, they constitute the bridge between formal languages and natural languages. Therefore, they perform the communicative function of the textual mode while being precise and computable by the machine without any ambiguity. In particular, they can be used to facilitate the population or update of knowledge bases within the framework of a human-machine interface.Since 1971, the French Marine Hydrographic and Oceanographic Service (SHOM) issues the French Coast Pilot Books Instructions nautiques , collections of general, nautical and statutory information, intended for use by sailors. These publications aim to supplement charts, in the sense that they provide the mariner with supplemental information not in the chart. They are mandatory for fishing and commercial ships. On the other hand, the International Hydrographic Organization (IHO) issued standards providing information about navigational data exchange. Among these standards, one of a particular interest is the universal model of hydrographic data (S-100 standard, January, 2010).This thesis analyses the use of a CNL to represent knowledge contained in the Instructions nautiques. This CNL purpose is to act as a pivot between the writing of the text by the dedicated operator, the production of the printed or online publication, and the interaction with knowledge bases and navigational aid tools. We will focus especially on the interaction between the Instructions nautiques Controlled Natural Language and the corresponding Electronic Navigational Charts (ENC).More generally, this thesis asks the question of the evolution of a CNL and the underlying ontologies involved in the Instructions nautiques project. Instructions nautiques have the particularity of combining both strictness (numerical data, electronic charts, legislation) and a certain amount of flexibility (text writing by human operators, unpredictability of the knowledge to be included due to the evolution of sailors¿ practices and needs). We define in this thesis a dynamic CNL in the same way that dynamic ontologies are defined in particular domains. The language described in this thesis is intended as an interesting contribution for the community involved in CNL. Indeed, it addresses the creation of a CNL for the unexploited domain of maritime navigation, but its hybrid aspects as well through the exploration of the multiple modalities (textual and visual) coexisting in a corpus comprising ENC and their companion texts. The mechanisms of the CNL presented in this thesis, although developed for the domain of the maritime navigation, have the potential to be adapted to other domains using multimodal corpuses. Finally, the benefits in the future of a controlled hybrid language are undeniable: the use of the different modalities in their full potential can be used in many different applications (for example, the exploitation of the visual modality for a 3D extension).
50

Towards learning sentence representation with self-supervision

Hosseini, Seyedarian 07 1900 (has links)
Ces dernières années, il y a eu un intérêt croissant dans le domaine de l'apprentissage profond pour le traitement du langage naturel. Plusieurs étapes importantes ont été franchies au cours de la dernière décennie dans divers problèmes, tels que les systèmes de questions-réponses, le résumé de texte, l'analyse des sentiments, etc. Le pré-entraînement des modèles de langage dans une manière auto-supervisé est une partie importante de ces réalisations. Cette thèse explore un ensemble de méthodes auto-supervisées pour apprendre des représentations de phrases à partir d'une grande quantité de données non étiquetées. Nous introduisons également un nouveau modèle de mémoire augmentée pour apprendre des représentations basées sur une structure d'arbre. Nous évaluons et analysons ces représentations sur différentes tâches. Dans le chapitre 1, nous introduisons les bases des réseaux neuronaux avant et des réseaux neuronaux récurrents. Le chapitre se poursuit avec la discussion de l'algorithme de rétropropagation pour former les réseaux neuronaux de flux avant, et la rétropropagation à travers l'algorithme de temps pour former les réseaux neuronaux récurrents. Nous discutons également de trois approches différentes dans le domaine de l’apprentissage de représentations, notamment l'apprentissage supervisé, l'apprentissage non supervisé et une approche relativement nouvelle appelée apprentissage auto-supervisé. Dans le chapitre 2, nous discutons des principes fondamentaux du traitement automatique du langage naturel profond. Plus précisément, nous couvrons les représentations de mots, les représentations de phrases et la modélisation du langage. Nous nous concentrons sur l'évaluation et l'état actuel de la littérature pour ces concepts. Nous finissons le chapitre en discutant le pré-entraînement à grande échelle et le transfert de l’apprentissage dans la langue. Dans le chapitre 3, nous étudions un ensemble de tâches auto-supervisées qui prend avantage de l’estimation contrastive bruitée afin d'apprendre des représentations de phrases à l'aide de données non étiquetées. Nous entraînons notre modèle sur un grand corpus et évaluons nos représentations de phrases apprises sur un ensemble de tâches du langage naturel en aval provenant du cadre SentEval. Notre modèle entraîné sur les tâches proposées surpasse les méthodes non-supervisées sur un sous-ensemble de tâches de SentEval. Dans les chapitres 4, nous introduisons un modèle de mémoire augmentée appelé Ordered Memory, qui présente plusieurs améliorations par rapport aux réseaux de neurones récurrents augmentés par pile traditionnels. Nous introduisons un nouveau mécanisme d'attention de Stick-breaking inspiré par les Ordered Neurons [shen et. al., 2019] pour écrire et effacer la mémoire. Une nouvelle cellule récursive à portes est également introduite pour composer des représentations de bas niveau en des représentations de haut niveau. Nous montrons que ce modèle fonctionne bien sur la tâche d'inférence logique et la tâche ListOps, et il montre également de fortes propriétés de généralisation dans ces tâches. Enfin, nous évaluons notre modèle sur les tâches (binaire et multi-classe) SST (Stanford Sentiment Treebank) et rapportons des résultats comparables à l’état de l’art sur ces tâches. / In chapter 1, we introduce the basics of feed forward neural networks and recurrent neural networks. The chapter continues with the discussion of the backpropagation algorithm to train feed forward neural networks, and the backpropagation through time algorithm to train recurrent neural networks. We also discuss three different approaches in learning representations, namely supervised learning, unsupervised learning, and a relatively new approach called self-supervised learning. In chapter 2, we talk about the fundamentals of deep natural language processing. Specifically, we cover word representations, sentence representations, and language modelling. We focus on the evaluation and current state of the literature for these concepts. We close the chapter by discussing large scale pre-training and transfer learning in language. In chapter 3, we investigate a set of self-supervised tasks that take advantage of noise contrastive estimation in order to learn sentence representations using unlabeled data. We train our model on a large corpora and evaluate our learned sentence representations on a set of downstream natural language tasks from the SentEval framework. Our model trained on the proposed tasks outperforms unsupervised methods on a subset of tasks from SentEval. In chapter 4, we introduce a memory augmented model called Ordered Memory with several improvements over traditional stack-augmented recurrent neural networks. We introduce a new Stick-breaking attention mechanism inspired by Ordered Neurons [Shen et.al., 2019] to write in and erase from the memory. A new Gated Recursive Cell is also introduced to compose low level representations into higher level ones. We show that this model performs well on the logical inference task and the ListOps task, and it also shows strong generalization properties in these tasks. Finally, we evaluate our model on the SST (Stanford Sentiment Treebank) tasks (binary and fine-grained) and report results that are comparable with state-of-the-art on these tasks.

Page generated in 0.2628 seconds