[pt] O presente trabalho discute práticas de avaliação de tradução, notadamente no contexto de sistemas de tradução automática (TA). É apresentada uma descrição de trabalhos relevantes de avaliação de TA, que abrangem a análise de sistemas e também a criação de taxonomias para avaliação de erros de TA. Em seguida, é realizada uma série de três jogos de avaliação de qualidade de tradução automática, baseados nos jogos de linguagem descritos nas Investigações fiilosóficas de Ludwig Wittgenstein. O jogo 1 abrangeu a pós-edição da tradução automática de pedidos de patentes por um tradutor profissional em dois sistemas distintos, com posterior avaliação de produtividade e análise das edições efetuadas. Os resultados quantitativos do jogo 1 revelam o impacto positivo do uso de TA na produtividade. Para uma avaliação qualitativa dos resultados, foi desenvolvida uma taxonomia das edições feitas durante a tarefa de pós-edição, e os resultados indicaram que o aumento de produtividade da TA não se deu às expensas da qualidade final do texto. O jogo 2 envolveu a comparação de duas traduções do mesmo texto, feitas pelo mesmo tradutor em um intervalo de vários anos, a primeira com memória de tradução, a segunda com pós-edição de TA, e serviu de base para uma discussão sobre a qualidade de tradução produzida em diferentes sistemas e condições de trabalhos. O jogo 3 compara a versão final dos dois textos-alvo editados no jogo 1 aos pedidos de patentes correspondentes, depositados do Instituto Nacional de Propriedade Industrial (INPI), para avaliar se o uso de TA teve algum impacto na qualidade final dos textos-alvo. Os resultados dos jogos 2 e 3 apontaram para um nível de qualidade superior das traduções produzidas por pós-edição de TA para este estudo, quando comparadas a traduções feitas em contextos profissionais. / [en] This work discusses translation assessment practices, most importantly machine translation (MT) assessment. Relevant literature for MT assessment is discussed, from MT systems assessment to the design of error typologies for MT assessment. The study encompasses a series of three MT quality assessment experiments based on the language games as described by Wittgenstein in his work Philosophical Investigations. Game 1 encompassed post-editing two patent documents using different MT systems, and further evaluating translator s productivity and analyzing the edits made. The quantitative results showed the positive impact of using MT in productivity. The qualitative results included a typology of the edits made during the PE task in both MT systems, and the results achieved showed that increased productivity did not affect translation quality level. Game 2 compares two translations of the same text produced several years apart by the same translator. The former was produced using a CAT tool; the latter, a TA system. Both served as the basis for discussing the quality of translations produced in different systems and under different work conditions. Game 3 compares the post-edited documents produced in the PE task of Game 1 to the actual patent documents as filed in Brazil s Patent Office (INPI) in order to evaluate the impact of MT over the quality of post-edited documents. The results of both games 2 and 3 pointed to a superior quality of the post-edited translations of the present study over translations produced in professional contexts.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:41711 |
| Date | 17 July 2019 |
| Contributors | MARIA CLAUDIA DE FREITAS, MARIA CLAUDIA DE FREITAS |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | TEXTO |
Page generated in 0.0027 seconds