Les auto-encodeurs sont des réseaux de neurones artificiels qui apprennent des représentations. Dans un auto-encodeur, l’encodeur transforme une entrée en une représentation, et le décodeur essaie de prédire l’entrée à partir de la représentation. Cette thèse compile trois applications de ces modèles au traitement automatique des langues : pour l’apprentissage de représentations de mots et de phrases, ainsi que pour mieux comprendre la compositionnalité.
Dans le premier article, nous montrons que nous pouvons auto-encoder des définitions
de dictionnaire et ainsi apprendre des vecteurs de définition. Nous proposons une nouvelle
pénalité qui nous permet d’utiliser ces vecteurs comme entrées à l’encodeur lui-même, mais
aussi de les mélanger des vecteurs distributionnels pré-entraînés. Ces vecteurs de définition
capturent mieux la similarité sémantique que les méthodes distributionnelles telles que
word2vec. De plus, l’encodeur généralise à un certain degré à des définitions qu’il n’a pas
vues pendant l’entraînement.
Dans le deuxième article, nous analysons les représentations apprises par les auto-encodeurs
variationnels séquence-à-séquence. Nous constatons que les encodeurs ont tendance à mémo-
riser les premiers mots et la longueur de la phrase d’entrée. Cela limite considérablement
leur utilité en tant que modèles génératifs contrôlables. Nous analysons aussi des variantes
architecturales plus simples qui ne tiennent pas compte de l’ordre des mots, ainsi que des mé-
thodes basées sur le pré-entraînement. Les représentations qu’elles apprennent ont tendance
à encoder plus nettement des caractéristiques globales telles que le sujet et le sentiment, et
cela se voit dans les reconstructions qu’ils produisent.
Dans le troisième article, nous utilisons des simulations d’émergence du langage pour
étudier la compositionnalité. Un locuteur – l’encodeur – observe une entrée et produit un
message. Un auditeur – le décodeur – tente de reconstituer ce dont le locuteur a parlé dans
son message. Nous émettons l’hypothèse que faire des phrases impliquant plusieurs entités,
telles que « Jean aime Marie », nécessite fondamentalement de percevoir chaque entité comme
un tout. Nous dotons certains agents de cette capacité grâce à un mechanisme d’attention,
alors que d’autres en sont privés. Nous proposons différentes métriques qui mesurent à quel
point les langues des agents sont naturelles en termes de structure d’argument, et si elles sont davantage analytiques ou synthétiques. Les agents percevant les entités comme des touts
échangent des messages plus naturels que les autres agents. / Autoencoders are artificial neural networks that learn representations. In an autoencoder, the
encoder transforms an input into a representation, and the decoder tries to recover the input
from the representation. This thesis compiles three different applications of these models to
natural language processing: for learning word and sentence representations, as well as to
better understand compositionality.
In the first paper, we show that we can autoencode dictionary definitions to learn word
vectors, called definition embeddings. We propose a new penalty that allows us to use these
definition embeddings as inputs to the encoder itself, but also to blend them with pretrained
distributional vectors. The definition embeddings capture semantic similarity better than
distributional methods such as word2vec. Moreover, the encoder somewhat generalizes to
definitions unseen during training.
In the second paper, we analyze the representations learned by sequence-to-sequence
variational autoencoders. We find that the encoders tend to memorize the first few words
and the length of the input sentence. This limits drastically their usefulness as controllable
generative models. We also analyze simpler architectural variants that are agnostic to word
order, as well as pretraining-based methods. The representations that they learn tend to
encode global features such as topic and sentiment more markedly, and this shows in the
reconstructions they produce.
In the third paper, we use language emergence simulations to study compositionality. A
speaker – the encoder – observes an input and produces a message about it. A listener – the
decoder – tries to reconstruct what the speaker talked about in its message. We hypothesize
that producing sentences involving several entities, such as “John loves Mary”, fundamentally
requires to perceive each entity, John and Mary, as distinct wholes. We endow some agents
with this ability via an attention mechanism, and deprive others of it. We propose various
metrics to measure whether the languages are natural in terms of their argument structure,
and whether the languages are more analytic or synthetic. Agents perceiving entities as
distinct wholes exchange more natural messages than other agents.
| Identifer | oai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/28676 |
| Date | 09 1900 |
| Creators | Bosc, Tom |
| Contributors | Vincent, Pascal |
| Source Sets | Université de Montréal |
| Language | English |
| Detected Language | French |
| Type | thesis, thèse |
| Format | application/pdf |
Page generated in 0.0031 seconds