No description available.

京都大学 / 新制・課程博士 / 博士(情報学) / 甲第25420号 / 情博第858号 / 京都大学大学院情報学研究科知能情報学専攻 / (主査)特定教授 黒橋 禎夫, 教授 河原 達也, 教授 鹿島 久嗣 / 学位規則第4条第1項該当 / Doctor of Informatics / Kyoto University / DFAM

Many applications of neural linguistic models rely on their use as pre-trained features for downstream tasks such as dialog modeling, machine translation, and question answering. This work presents an alternate paradigm: Rather than treating linguistic embeddings as input features, we treat them as common sense knowledge repositories that can be queried using simple mathematical operations within the embedding space, without the need for additional training. Because current state-of-the-art embedding models were not optimized for this purpose, this work presents a novel embedding model designed and trained specifically for the purpose of "reasoning in the linguistic domain".Our model jointly represents single words, multi-word phrases, and complex sentences in a unified embedding space. To facilitate common-sense reasoning beyond straightforward semantic associations, the embeddings produced by our model exhibit carefully curated properties including analogical coherence and polarity displacement. In other words, rather than training the model on a smorgaspord of tasks and hoping that the resulting embeddings will serve our purposes, we have instead crafted training tasks and placed constraints on the system that are explicitly designed to induce the properties we seek. The resulting embeddings perform competitively on the SemEval 2013 benchmark and outperform state-of- the-art models on two key semantic discernment tasks introduced in Chapter 8.The ultimate goal of this research is to empower agents to reason about low level behaviors in order to fulfill abstract natural language instructions in an autonomous fashion. An agent equipped with an embedding space of sucient caliber could potentially reason about new situations based on their similarity to past experience, facilitating knowledge transfer and one-shot learning. As our embedding model continues to improve, we hope to see these and other abilities become a reality.

L'analogie, c'est-à-dire une correspondance entre deux entités, est considérée une capacité de raisonnement importante. L'analogie proportionnelle, écrite $a:b::c:d$ et qui se lit ``$a$ est à $b$ ce que $c$ est à $d$'', en est un cas particulier où la correspondance tient de par la relation entre les éléments de deux paires d'objets. Le mémoire évalue certaines méthodes issues de l'usage de représentations distributionnelles vectorielles dans la résolution d'analogies proportionnelles verbales et les mène à leur prolongement naturel, la phrase. Nous ciblons la compétence de modèles de langue et des représentations qui peuvent en être extraites à la résolution d'analogies proportionnelles formées sur la base de relations syntaxiques, sémantiques, ou de connaissance encyclopédique. Peu d'ensembles de données existent pour les analogies de phrase et sinon comprennent pour la plupart des analogies au niveau de la forme, composées de phrases construites à partir de gabarits, ou bien variant peu dans les relations sémantiques qui tiennent entre les phrases. Nous construisons donc un ensemble de données contenant des phrases en paires relationnelles qui nous permet de construire des analogies en appariant deux paires. Nous essayons différentes variations de méthodes qui comportent un objectif de recouvrement par un modèle vectoriel. D'autres méthodes de résolution d'analogies proportionnelles sont explorées par voie de génération de texte. Nous expérimentons par le peaufinement du modèle de langue Flan-T5, pré-entraîné sur des paires instruction-réponse, sur nos analogies par une tâche séquence à séquence, ainsi que par l'incitation avec peu d'exemples en utilisant des versions de ce modèle en variant la capacité jusque dans la gamme des milliards de paramètres. En somme, la performance observée est faible pour toutes les tâches. Nous concluons, de l'utilisation de plongements de phrase, quelques mises en garde similaires à celles que l'on trouve avec la résolution d'analogies verbales par plongements lexicaux. Nos expérimentations génératives démontrent l'importance de données à la fois de bonne qualité et de bonne quantité, ainsi que le potentiel de l'apprentissage en contexte. Nous ajoutons à cela un aperçu qualitatif de la disparité entre l'habileté de modèles probabilistes entraînés pour prédire, à partir d'une instruction, la séquence correcte, et celle d'un modèle peaufiné par la méthode d'apprentissage par renforcement avec commentaires humains, à savoir ChatGPT. / Analogy, the correspondence between two things, has been hailed as an important reasoning capability. Proportional analogy, denoted $a:b::c:d$, read ``$a$ is to $b$ as $c$ is to $d$'' is a special case of this where a correspondence is made in the relation that holds between the elements of two pairs. This thesis evaluates methods originating in the recent use of distributional vector representations for solving four-part word analogies, bringing them to their natural extension, sentences. Few datasets of proportional sentence analogies exist, typically comprising purely formal analogies or sentences constructed by templates, and where semantic relations are typically limited in the variety we would hope to capture. Thus, for the purposes of our experiments, we curate a dataset of pairs of sentences for which a given relation holds and from which analogies can be constructed by matching pairs within a relation together. We target the analogy-solving ability of language models and representations derived therefrom, specifically as regards proportional sentence analogies formed on the basis of syntax, semantics, or encyclopedic knowledge. Different variations on previous methods are explored, all based on retrieval of the solution in a vector space model. Other methods of solving proportional sentence analogies by generation are attempted. We experiment with finetuning the instruction-trained Flan-T5 language model on sentence analogies as a sequence-to-sequence task, as well as prompting model checkpoints up into the billion-parameter range with few-shot examples. Overall performance at the task is poor in both settings. We find that similar caveats which apply to analogical reasoning with word vectors apply to sentence embeddings as well. Our generative experiments show the importance of data of suitable quality and quantity, as well the potential of in-context learning. Some qualitative insights are shown as to the disparity in task ability of instruction-trained probabilistic language models and one finetuned by reinforcement learning with human feedback, namely ChatGPT.

Cette thèse par article comprend quatre articles qui contribuent au domaine de l'apprentissage profond, en particulier à l'accélération de l’apprentissage par le biais de réseaux à faible précision et à l'application de réseaux de neurones profonds au traitement du langage naturel. Dans le premier article, nous étudions un schéma d’entraînement de réseau de neurones qui élimine la plupart des multiplications en virgule flottante. Cette approche consiste à binariser ou à ternariser les poids dans la propagation en avant et à quantifier les états cachés dans la propagation arrière, ce qui convertit les multiplications en changements de signe et en décalages binaires. Les résultats expérimentaux sur des jeux de données de petite à moyenne taille montrent que cette approche produit des performances encore meilleures que l’approche standard de descente de gradient stochastique, ouvrant la voie à un entraînement des réseaux de neurones rapide et efficace au niveau du matériel. Dans le deuxième article, nous avons proposé un mécanisme structuré d’auto-attention d’enchâssement de phrases qui extrait des représentations interprétables de phrases sous forme matricielle. Nous démontrons des améliorations dans 3 tâches différentes: le profilage de l'auteur, la classification des sentiments et l'implication textuelle. Les résultats expérimentaux montrent que notre modèle génère un gain en performance significatif par rapport aux autres méthodes d’enchâssement de phrases dans les 3 tâches. Dans le troisième article, nous proposons un modèle hiérarchique avec graphe de calcul dynamique, pour les données séquentielles, qui apprend à construire un arbre lors de la lecture de la séquence. Le modèle apprend à créer des connexions de saut adaptatives, ce qui facilitent l'apprentissage des dépendances à long terme en construisant des cellules récurrentes de manière récursive. L’entraînement du réseau peut être fait soit par entraînement supervisée en donnant des structures d’arbres dorés, soit par apprentissage par renforcement. Nous proposons des expériences préliminaires dans 3 tâches différentes: une nouvelle tâche d'évaluation de l'expression mathématique (MEE), une tâche bien connue de la logique propositionnelle et des tâches de modélisation du langage. Les résultats expérimentaux montrent le potentiel de l'approche proposée. Dans le quatrième article, nous proposons une nouvelle méthode d’analyse par circonscription utilisant les réseaux de neurones. Le modèle prédit la structure de l'arbre d'analyse en prédisant un scalaire à valeur réelle, soit la distance syntaxique, pour chaque position de division dans la phrase d'entrée. L'ordre des valeurs relatives de ces distances syntaxiques détermine ensuite la structure de l'arbre d'analyse en spécifiant l'ordre dans lequel les points de division seront sélectionnés, en partitionnant l'entrée de manière récursive et descendante. L’approche proposée obtient une performance compétitive sur le jeu de données Penn Treebank et réalise l’état de l’art sur le jeu de données Chinese Treebank. / This thesis by article consists of four articles which contribute to the field of deep learning, specifically in the acceleration of training through low-precision networks, and the application of deep neural networks on natural language processing. In the first article, we investigate a neural network training scheme that eliminates most of the floating-point multiplications. This approach consists of binarizing or ternarizing the weights in the forward propagation and quantizing the hidden states in the backward propagation, which converts multiplications to sign changes and binary shifts. Experimental results on datasets from small to medium size show that this approach result in even better performance than standard stochastic gradient descent training, paving the way to fast, hardware-friendly training of neural networks. In the second article, we proposed a structured self-attentive sentence embedding that extracts interpretable sentence representations in matrix form. We demonstrate improvements on 3 different tasks: author profiling, sentiment classification and textual entailment. Experimental results show that our model yields a significant performance gain compared to other sentence embedding methods in all of the 3 tasks. In the third article, we propose a hierarchical model with dynamical computation graph for sequential data that learns to construct a tree while reading the sequence. The model learns to create adaptive skip-connections that ease the learning of long-term dependencies through constructing recurrent cells in a recursive manner. The training of the network can either be supervised training by giving golden tree structures, or through reinforcement learning. We provide preliminary experiments in 3 different tasks: a novel Math Expression Evaluation (MEE) task, a well-known propositional logic task, and language modelling tasks. Experimental results show the potential of the proposed approach. In the fourth article, we propose a novel constituency parsing method with neural networks. The model predicts the parse tree structure by predicting a real valued scalar, named syntactic distance, for each split position in the input sentence. The order of the relative values of these syntactic distances then determine the parse tree structure by specifying the order in which the split points will be selected, recursively partitioning the input, in a top-down fashion. Our proposed approach was demonstrated with competitive performance on Penn Treebank dataset, and the state-of-the-art performance on Chinese Treebank dataset.