Title: Measures of Machine Translation Quality Author: Matouš Macháček Department: Institute of Formal and Applied Linguistics Supervisor: RNDr. Ondřej Bojar, Ph.D. Abstract: We explore both manual and automatic methods of machine trans- lation evaluation. We propose a manual evaluation method in which anno- tators rank only translations of short segments instead of whole sentences. This results in easier and more efficient annotation. We have conducted an annotation experiment and evaluated a set of MT systems using this method. The obtained results are very close to the official WMT14 evaluation results. We also use the collected database of annotations to automatically evalu- ate new, unseen systems and to tune parameters of a statistical machine translation system. The evaluation of unseen systems, however, does not work and we analyze the reasons. To explore the automatic methods, we organized Metrics Shared Task held during the Workshop of Statistical Ma- chine Translation in years 2013 and 2014. We report the results of the last shared task, discuss various metaevaluation methods and analyze some of the participating metrics. Keywords: machine translation, evaluation, automatic metrics, annotation

[pt] A área de pesquisa em Montagem de Genomas tem evoluído rapidamente, adaptando-se às novas tecnologias de sequenciamento e modernos ambientes computacionais. Existem diversos softwares montadores que usam múltiplas abordagens, porém persiste o questionamento sobre a qualidade da montagem ao final do processo. Assim que uma montagem é finalizada, muitas medidas de qualidade podem ser geradas, a fim de que a montagem seja qualificada. Todavia, essas medidas apenas fornecem aos biólogos valores quantitativos acerca da montagem. Nós propomos nesta pesquisa um framework de domínio para o processo de análise de medidas pós montagem de genomas. Nosso objetivo é de prover a interpretação dos dados e avaliação da qualidade das montagens a partir do Framework. O Genome Assembly Analysis Framework (GAAF) foi projetado para trabalhar com espécies, montadores e medidas distintas. Para validar nossa proposta, foram realizados testes com o GAAF que permitem entender como o mesmo pode ser utilizado e de que maneira ele pode ser instanciado e/ou estendido. / [en] The Genome Assembly research area has quickly evolved, adapting to new sequencing technologies and modern computational environments. There exist many assembler software that consider multiple approaches. However, at the end of the process, one can always question the quality of assemblies. When an assembly is accomplished, some quality features may be generated, in order to qualify it. Nonetheless, the features do not directly tell one about assembly quality, but only bring to the biologists quantitative assembly descriptions. We propose a Domain Framework for the feature analysis process post-genome Assembly. Our goal is to enable data interpretation and assembly quality evaluation. The Genome Assembly Analysis Framework (GAAF) was designed to work with distinct species, assemblers and features. In order to validate our proposal, we have run a few practical experiments with GAAF, which make us understand the way it can be used, instantiated and extended.

[pt] Este trabalho tem por objetivo propor um conjunto de ações em sustentabilidade e uma ferramenta de avaliação e monitoramento como estratégia de pavimentar o árido processo para que uma dada instituição possa ser reconhecida como sustentável. Para avaliar o grau de performance institucional das IESs, propõe-se um modelo analítico para o ambiente organizacional de uma IES em 4 dimensões: Administrativa, Sociocultural, Acadêmica e Operacional. Para cada dimensão, e à luz de um conjunto de 40 ações em sustentabilidade construídas para refletir o estado-da-arte das recomendações internacionalmente consensadas, três índices de sustentabilidade são propostos (índice de comprometimento, coerência e dificuldade na implementação das ações propostas). A motivação consiste em prover uma metodologia sistemática de implementação e avaliação de ações em sustentabilidade para IESs, contribuindo para que estas instituições possam alcançar seus objetivos em favor do desenvolvimento sustentável. A metodologia da pesquisa estruturou-se em três pilares: (i) pesquisa documental e bibliográfica em sustentabilidade; (ii) análise crítica de métricas e indicadores de sustentabilidade e (iii) validação da ferramenta aplicada a um grupo seleto de 21 IESs norte americanas de excelência internacionalmente reconhecida. Os resultados indicaram um grau de comprometimento Bom (IC igual 0.73) para essas IESs. Dentre as conclusões, a ferramenta de avaliação e monitoramento proposta mostrou-se eficaz para a identificação e análise do comprometimento e performance institucional de IESs no processo de implementação de ações de sustentabilidade. Em nível global, a ferramenta proposta não deve ser entendida como um fim em si mesma, mas como um instrumento-guia para o aperfeiçoamento contínuo. / [en] The objective of this work is to propose a set of sustainability actions and an evaluation scheme as a strategy to guide Higher Education Institutions (HEIs) in their efforts to become more sustainable. Structured into four dimensions (Administrative, Social & Cultural, Academic, and Operational) a set of forty strategic sustainability actions are created (ten per dimension), reflecting state-of-the-art international recommendations for best practices in sustainability. Based on the institutional fulfillment of these actions, three sustainability indices are proposed as a metric for evaluating aspects related to the commitment, coherency and difficulty of execution of the proposed actions. The motivation for this work is to provide a systematic approach of implementation, evaluation and monitoring of sustainability actions, globally accessible to all HEIs, particularly given the demonstrated bias in the existing metrics favoring HEIs in developed economies. The research methodology is structured based on three pillars: (i) documentary and bibliographical research in sustainability (concepts, principles, guidelines, best practices); (ii) review of metrics and sustainability indicators and (iii) validation of the proposed tool through its application to a select group of 21 HEIs recognized for their academic and sustainability excellence. The results reveal a Good degree of commitment (CI equal 0.73) for the 21 HEIs studied, indicating the proposed evaluation scheme is effective in the identification and analysis of institutional commitment and performance of HEIs implementing sustainability initiatives.