Dans ce travail, nous proposons une méthode presque sans perte d’information pour encoder de longues séquences de texte ainsi que toutes leurs sous-séquences en des représentations riches en information. Nous testons notre méthode sur une tâche d’analyse de sentiments et obtenons de bons résultats avec les vecteurs de sous-phrases et de phrases. Ce travail présente aussi l’utilisation de la distillation de connaissance et de la quantification pour compresser le modèle de Transformer [Vaswani et al., 2017] pour la tâche de traduction. Nous sommes, au mieux de nos connaissances, les premiers à démontrer que le Transformer avec ses poids quantifiés à 8-bits peut obtenir un score BLEU aussi bon qu’avec ses poids de précisions pleines. De plus, en combinant la distillation de connaissance avec la quantification des poids, nous pouvons entraîner de plus petits réseaux Transformer et obtenir un taux de compression jusqu’à 12.59x, en ne perdant que seulement 2.51 BLEU sur la tâche de traduction WMT 2014 Anglais-Français, comparativement au modèle de base. Le chapitre 1 introduit des concepts d’apprentissage machine pour le traitement des langues naturelles, concepts qui sont essentiels à la compréhension des deux papiers présentés dans cette thèse. Chapitre 2 et 3 couvrent respectivement chaque papier, avant de conclure par le chapitre 4. / In this work, we propose a near lossless method for encoding long sequences of texts as well as all of their sub-sequences into feature rich representations. We test our method on sentiment analysis and show good performance across all sub-sentence and sentence embeddings. This work also demonstrates the use of knowledge distillation and quantization to compress the original Transformer model [Vaswani et al., 2017] for the translation task. We are, to the best of our knowledge, the first to show that 8-bit quantization of the weights of the Transformer can achieve the same BLEU score as the full-precision model. Furthermore, when we combine knowledge distillation with weight quantization, we can train smaller Transformer networks and achieve up to 12.59x compression while losing only 2.51 BLEU off the baseline on the WMT 2014 English-to-French translation task. Chapter 1 introduces machine learning concepts for natural language processing which are essential to understanding both papers presented in this thesis. Chapter 2 and 3 cover each paper respectively, before finally concluding with chapter 4.

Auto-completion is a task that requires an algorithm to give suggestions for completing sentences. Specifically, the history of live chat and the words already typed by the agents are provided to the algorithm for outputting the suggestions to finish the sentences. This study aimed to investigate if the above task can be handled by fine-tuning a pre-trained T5 model on the target dataset. In this thesis, both an English and a Portuguese dataset were selected. Then, T5 and its multilingual version mT5were fine-tuned on the target datasets. The models were evaluated with different metrics (log perplexity, token level accuracy, and multi-word level accuracy), and the results are compared to those of the baseline methods. The results on these different metrics show that a method based on pre-trained T5 is a promising approach to handle the target task. / Automatisk komplettering är en uppgift som kräver en algoritm för att ge förslag på hur man kan slutföra meningar. Specifikt levereras historien om livechatt och de ord som redan har skrivits av agenterna till algoritmen för att mata ut förslagen för att avsluta meningarna. Denna studie syftade till att undersöka om ovanstående uppgift kan hanteras genom att finjustera en förtränad T5-modell på måldatamängden. I denna avhandling valdes både en engelsk och en portugisisk datamängd. Därefter finjusterades T5 och dess flerspråkiga version mT5 på måldatauppsättningarna. Modellerna utvärderades med olika mätvärden (log-perplexitet, precision på ordnivå och flerordsnivå), och resultaten jämförs med baslinjemetoderna. Resultaten på dessa olika mätvärden visar att en metod baserad på en förtränad T5 är ett lovande tillvägagångssätt för att hantera uppgiften.