[pt] Este estudo foi motivado pela utilização, ainda em caráter experimental, de um tradutor automático por uma empresa multinacional de localização de software. A fim de contribuir para essa iniciativa pioneira no país, propomos uma avaliação do programa, enfocando as implicações da utilização desta tecnologia no processo de localização de software. Empregamos a taxonomia proposta pelo FEMTI (Framework for the Evaluation of Machine Translation in ISLE), desenvolvida especialmente para a avaliação de tradução automática, com base nas normas ISO/IEC de qualidade de software. São considerados aspectos operacionais, como a integração do sistema de tradução automática às ferramentas de memória de tradução, bem como questões relacionadas à linguagem. O corpus utilizado para a avaliação foi um manual de usuário de um telefone celular. Além dos problemas lingüísticos recorrentes na maioria das ferramentas de tradução automática disponíveis atualmente, são analisados os desvios relacionados à tradução da interface com o usuário, mais especificamente aos menus do telefone celular. Esses desvios são discutidos dentro das categorias pertinentes da taxonomia do FEMTI e, sempre que possível, foram sugeridas soluções. Para complementar a análise lingüística, apresentamos outros três estudos realizados para o português. Nossos resultados indicam que o sistema pode ser bem-sucedido neste mercado em função principalmente da delimitação do domínio e da adoção dos procedimentos impostos pelo processo de localização. Esse sucesso depende da integração do tradutor automático às memórias de tradução e de investimentos relativamente pequenos na atualização dos recursos lingüísticos (regras gramaticais e dicionários) para refletir as características próprias do domínio e do tipo de texto. / [en] This study was motivated by the trial implementation of a machine translation engine by a multinational software localization company. In order to contribute to this innovative experiment in the Brazilian market, we evaluate the engine, focusing on the implications of its implementation in the software localization industry. We use the FEMTI (Framework for the Evaluation of Machine Translation in ISLE) taxonomy, which is based on the ISO/IEC guidelines for software evaluation. Operational aspects, such as the engine s integration with translation memory tools, are taken into consideration, as well as language issues. Our evaluation is based on the machine translated version of a mobile phone user guide. In addition to the language problems common to most machine translation engines currently available, we analyze issues related to the user interface, particularly to the phone menus. These problems are discussed as examples of each related FEMTI topic and we suggest solutions whenever possible. To add to our language evaluation, we present three other studies dedicated to Portuguese. Our results indicate the engine can be successful in this industry mainly in terms of domain restriction and localization workflow procedures. Its success depends on its integration to translation memory tools and requires relatively little investment in updating the language resources (rules and dictionaries) to reflect the language characteristics specific to domain and text type.

[pt] O presente trabalho discute práticas de avaliação de tradução, notadamente no contexto de sistemas de tradução automática (TA). É apresentada uma descrição de trabalhos relevantes de avaliação de TA, que abrangem a análise de sistemas e também a criação de taxonomias para avaliação de erros de TA. Em seguida, é realizada uma série de três jogos de avaliação de qualidade de tradução automática, baseados nos jogos de linguagem descritos nas Investigações fiilosóficas de Ludwig Wittgenstein. O jogo 1 abrangeu a pós-edição da tradução automática de pedidos de patentes por um tradutor profissional em dois sistemas distintos, com posterior avaliação de produtividade e análise das edições efetuadas. Os resultados quantitativos do jogo 1 revelam o impacto positivo do uso de TA na produtividade. Para uma avaliação qualitativa dos resultados, foi desenvolvida uma taxonomia das edições feitas durante a tarefa de pós-edição, e os resultados indicaram que o aumento de produtividade da TA não se deu às expensas da qualidade final do texto. O jogo 2 envolveu a comparação de duas traduções do mesmo texto, feitas pelo mesmo tradutor em um intervalo de vários anos, a primeira com memória de tradução, a segunda com pós-edição de TA, e serviu de base para uma discussão sobre a qualidade de tradução produzida em diferentes sistemas e condições de trabalhos. O jogo 3 compara a versão final dos dois textos-alvo editados no jogo 1 aos pedidos de patentes correspondentes, depositados do Instituto Nacional de Propriedade Industrial (INPI), para avaliar se o uso de TA teve algum impacto na qualidade final dos textos-alvo. Os resultados dos jogos 2 e 3 apontaram para um nível de qualidade superior das traduções produzidas por pós-edição de TA para este estudo, quando comparadas a traduções feitas em contextos profissionais. / [en] This work discusses translation assessment practices, most importantly machine translation (MT) assessment. Relevant literature for MT assessment is discussed, from MT systems assessment to the design of error typologies for MT assessment. The study encompasses a series of three MT quality assessment experiments based on the language games as described by Wittgenstein in his work Philosophical Investigations. Game 1 encompassed post-editing two patent documents using different MT systems, and further evaluating translator s productivity and analyzing the edits made. The quantitative results showed the positive impact of using MT in productivity. The qualitative results included a typology of the edits made during the PE task in both MT systems, and the results achieved showed that increased productivity did not affect translation quality level. Game 2 compares two translations of the same text produced several years apart by the same translator. The former was produced using a CAT tool; the latter, a TA system. Both served as the basis for discussing the quality of translations produced in different systems and under different work conditions. Game 3 compares the post-edited documents produced in the PE task of Game 1 to the actual patent documents as filed in Brazil s Patent Office (INPI) in order to evaluate the impact of MT over the quality of post-edited documents. The results of both games 2 and 3 pointed to a superior quality of the post-edited translations of the present study over translations produced in professional contexts.

[pt] Esta dissertação discute a utilização de sistemas de tradução automática em ambientes de memória de tradução (CAT), uma modalidade de trabalho cada vez mais presente no mercado de tradução especializada atual. Foi realizado um estudo experimental envolvendo quatro tradutores profissionais especializados na área de informática. Cada um dos profissionais traduziu dois textos, um deles de marketing de tecnologia e o outro altamente técnico, utilizando diferentes modalidades de trabalho. O objetivo do estudo foi verificar a existência de diferenças entre o uso de tradução automática com pós-edição no nível de segmento e o uso de tradução automática como sugestão no nível de subsegmento. As traduções foram analisadas utilizando recursos de linguística computacional por meio das seguintes métricas: variedade lexical, densidade lexical, distância de edição, considerando sequências de classes gramaticais, e produtividade. Para efeitos comparativos, foram incluídas no estudo experimental traduções 100 por cento humanas e traduções automáticas sem pós-edição. As métricas utilizadas permitiram observar diferenças nos resultados atribuíveis às modalidades de trabalho, bem como comparar os efeitos nos diferentes tipos de textos traduzidos. Finalmente, as diversas traduções de um dos textos foram submetidas à avaliação de leitores para determinar as preferências. / [en] This dissertation addresses the use of automatic translation in translation memory systems (CAT), a fast-growing modality of work in today s specialized translation market. An experimental study was conducted with four professional translators specializing in the field of computing. Each professional translated two texts, one about technology marketing and the other, a highly technical document, using different modalities of work. The purpose of the study was to identify any differences resulting from the use of automatic translation, with segment-based post-editing, and the use of automatic translation as sub-segment translation suggestions. The resources of computational linguistics were employed to analyze the translations, considering the following metrics: lexical diversity, lexical density, edit distance, taking into account grammatical sequences, and productivity. For comparative purposes, the experimental study included 100 percent human translations and automatic translations that were not submitted to post-editing. The metrics employed turned out differing results attributable to the modalities of work, and allowed for the comparison of the effects on the different types of texts translated. Finally, the multiple translations of one of the texts were submitted to the evaluation of the readers, to determine their preferences.