Dans ce mémoire, nous examinons certaines propriétés
des représentations distribuées de mots et nous proposons une technique
pour élargir le vocabulaire des systèmes de traduction automatique neurale.
En premier lieu, nous considérons un problème de résolution d'analogies
bien connu et examinons l'effet de poids adaptés à la position, le choix de la
fonction de combinaison et l'impact de l'apprentissage supervisé.
Nous enchaînons en montrant que des représentations distribuées simples basées
sur la traduction peuvent atteindre ou dépasser l'état de l'art sur le test de
détection de synonymes TOEFL et sur le récent étalon-or SimLex-999. Finalament,
motivé par d'impressionnants résultats obtenus avec des représentations distribuées
issues de systèmes de traduction neurale à petit vocabulaire (30 000 mots),
nous présentons une approche compatible à l'utilisation de cartes graphiques
pour augmenter la taille du vocabulaire par plus d'un ordre de magnitude.
Bien qu'originalement développée seulement pour obtenir les représentations
distribuées, nous montrons que cette technique fonctionne plutôt bien sur des
tâches de traduction, en particulier de l'anglais vers le français (WMT'14). / In this thesis, we examine some properties of word embeddings
and propose a technique to handle large vocabularies in neural
machine translation. We first look at a well-known analogy task
and examine the effect of position-dependent weights, the choice
of combination function and the impact of supervised learning.
We then show that
simple embeddings learnt with translational contexts can match or surpass
the state of the art on the TOEFL synonym detection task and on
the recently introduced SimLex-999 word similarity gold standard. Finally,
motivated by impressive results obtained by small-vocabulary (30,000 words)
neural machine translation embeddings on some word similarity tasks, we
present a GPU-friendly approach to increase the vocabulary size
by more than an order of magnitude. Despite originally being developed for
obtaining the embeddings only, we show that this technique
actually works quite well on actual translation tasks, especially
for English to French (WMT'14).
| Identifer | oai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/13421 |
| Date | 04 1900 |
| Creators | Jean, Sébastien |
| Contributors | Memisevic, Roland |
| Source Sets | Université de Montréal |
| Language | English |
| Detected Language | French |
| Type | Thèse ou Mémoire numérique / Electronic Thesis or Dissertation |
Page generated in 0.0024 seconds