Return to search

Open source quality control tool for translation memory using artificial intelligence

La mémoire de traduction (MT) joue un rôle décisif lors de la traduction et constitue une base
de données idéale pour la plupart des professionnels de la langue. Cependant, une MT est très
sujète au bruit et, en outre, il n’y a pas de source spécifique. Des efforts importants ont été
déployés pour nettoyer des MT, en particulier pour former un meilleur système de traduction
automatique. Dans cette thèse, nous essayons également de nettoyer la MT mais avec un objectif
plus large : maintenir sa qualité globale et la rendre suffisament robuste pour un usage interne
dans les institutions. Nous proposons un processus en deux étapes : d’abord nettoyer une MT
institutionnelle (presque propre), c’est-à-dire éliminer le bruit, puis détecter les textes traduits à
partir de systèmes neuronaux de traduction.
Pour la tâche d’élimination du bruit, nous proposons une architecture impliquant cinq approches
basées sur l’heuristique, l’ingénierie fonctionnelle et l’apprentissage profond. Nous évaluons cette
tâche à la fois par annotation manuelle et traduction automatique (TA). Nous signalons un gain
notable de +1,08 score BLEU par rapport à un système de nettoyage état de l’art. Nous proposons
également un outil Web qui annote automatiquement les traductions incorrectes, y compris mal
alignées, pour les institutions afin de maintenir une MT sans erreur.
Les modèles neuronaux profonds ont considérablement amélioré les systèmes MT, et ces systèmes
traduisent une immense quantité de texte chaque jour. Le matériel traduit par de tels systèmes
finissent par peuplet les MT, et le stockage de ces unités de traduction dans TM n’est pas
idéal. Nous proposons un module de détection sous deux conditions: une tâche bilingue et une
monolingue (pour ce dernier cas, le classificateur ne regarde que la traduction, pas la phrase
originale). Nous rapportons une précision moyenne d’environ 85 % en domaine et 75 % hors
domaine dans le cas bilingue et 81 % en domaine et 63 % hors domaine pour le cas monolingue
en utilisant des classificateurs d’apprentissage profond. / Translation Memory (TM) plays a decisive role during translation and is the go-to database for
most language professionals. However, they are highly prone to noise, and additionally, there is no
one specific source. There have been many significant efforts in cleaning the TM, especially for
training a better Machine Translation system. In this thesis, we also try to clean the TM but with a
broader goal of maintaining its overall quality and making it robust for internal use in institutions.
We propose a two-step process, first clean an almost clean TM, i.e. noise removal and then detect
texts translated from neural machine translation systems.
For the noise removal task, we propose an architecture involving five approaches based on heuristics, feature engineering, and deep-learning and evaluate this task by both manual annotation and
Machine Translation (MT). We report a notable gain of +1.08 BLEU score over a state-of-the-art,
off-the-shelf TM cleaning system. We also propose a web-based tool “OSTI: An Open-Source
Translation-memory Instrument” that automatically annotates the incorrect translations (including
misaligned) for the institutions to maintain an error-free TM.
Deep neural models tremendously improved MT systems, and these systems are translating an
immense amount of text every day. The automatically translated text finds a way to TM, and
storing these translation units in TM is not ideal. We propose a detection module under two
settings: a monolingual task, in which the classifier only looks at the translation; and a bilingual
task, in which the source text is also taken into consideration. We report a mean accuracy of around
85% in-domain and 75% out-of-domain for bilingual and 81% in-domain and 63% out-of-domain
from monolingual tasks using deep-learning classifiers.

Identiferoai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/24307
Date08 1900
CreatorsBhardwaj, Shivendra
ContributorsLanglais, Philippe
Source SetsUniversité de Montréal
LanguageEnglish
Detected LanguageFrench
Typethesis, thèse

Page generated in 0.0022 seconds