Det manuella arbetssättet för undertextframtagning är en tidskrävande och kostsam process. Arbetet undersöker AI-verktyget Whisper och dess potential att ersätta processen som används idag. Processen innefattar både transkribering och översättning.  För att verktyget ska kunna göra denna transkribering och översättning behöver den i första hand kunna omvandla tal till text. Detta kallas för taligenkänning och är baserat på upptränade språkmodeller. Precisionen för transkriberingen kan mätas med ordfelfrekvens (Word Error Rate – WER) och för översättningen med COMET-22.  Resultaten visade sig klara av Microsofts krav för maximalt tillåten WER och anses därför vara tillräckligt bra för användning. Resultaten indikerade även att de maskinproducerade översättningarna uppnår tillfredställande kvalitet. Undertextframtagning, som är det andra steget i processen, visade sig Whisper ha svårare för när det gäller skapandet av undertexter. Detta gällde både för transkriberingen i originalspråk samt den engelsköversatta versionen. Kvaliteten på undertexternas formatering, som mäts med SubER-metoden, kan tolkas som för låga för att anses vara användbara. Resultaten låg i intervallet 59 till 96% vilket innebär hur stor del av den automatiskt tillverkade undertexten behöver korrigeras för att matcha referensen.  Den övergripande slutsatsen man kan dra är att Whisper eventuellt kan ersätta den faktiska transkriberings -och översättningsprocessen, då den både är snabbare och kostar mindre resurser än det manuella tillvägagångssättet. Den är dock inte i skrivande stund tillräcklig för att ersätta undertextframtagningen. / The manual process of subtitling creation is a time consuming and costly process. This study examines the AI-tool Whisper and its potential of substituting the process used today. The process consists of both speech recognition and speech translation.  For the tool to accomplish the transcription and translation, it first needs to be able to convert speech-to-text. This is called speech recognition and is based on trained speech models. The precision for the transcription can be measured using the Word Error Rate (WER), while the translation uses COMET-22 for measuring precision.  The results met the requirements for maximal allowed WER-value and were therefore considered to be usable. The results also indicated that the machine produced translations reached satisfactory quality. Subtitle creation, which is the second part of the process, turned out to be more of a challenge for Whisper. This applied to both the transcription in the original language and the English translated version.  The quality of the subtitling format, measured using the SubER-method, can be interpreted as too low to be considered useful. The results were in the interval of 59 to 96% which informs how large part of the automatically created subtitle need to be corrected to match the reference.  The conclusion one can draw is that Whisper could eventually substitute the actual transcription and translation process, since it is both faster and costs less resources than the manual process. Though it is not good enough, in the moment of writing, to substitute the subtitling creation.

Данная научная работа выполнена в рамках транслятологического анализа документальных, или неигровых кинофильмов и их заголовков с английского языка на русский и с русского языка на английский. Цель исследования заключается в определении и изучении основных переводческих стратегий и приёмов при пеpеводе документального кинo. Основной метод, используемый в работе, -- сопоставительный, на базе которого подготовлена практическая часть магистерской диссертации. В научном исследовании уделяется внимание переводу при помощи субтитров как одному из самых востребованных способов перевода. Также в работе освещается вопрос о прагматической адаптации перевода кинофильмов и выборе правильных переводческих стратегий: эквивалентный перевод, различные виды переводческих трансформаций. Поскольку основу практической части магистерской диссертации составляет подборка неигровых научно-популярных фильмов с содержанием узко специализированной терминологии, необходимо знание, понимание и владение терминами по соответствующей теме. В настоящей работе изучены и подготовлен перевод документальных фильмов, относящихся к военной тематике («The Hero»), к социально- политической («Один день») и к естественно-научной («ALMA – A Window into the Mysteries of the Universe»). Так, основная сложность выявлена в переводе на лексическом уровне, неразрывно связанным со стилистикой текста, а также и на уровне грамматики в силу различного строения русского и английского языков. / The master’s thesis is aimed at analyzing the specific features and characteristics of the translation of documentaries along with their titles from English into Russian and vice versa. The primary purpose of this study is to determine the main translation strategies which are used in the translation of non-fiction films. Data for this research were obtained from the real present-day film projects: «The Hero», (2013); «Один день», (2012); and «ALMA – A Window into the Mysteries of the Universe», (2014). The research consists of three theoretical chapters and three practical ones. The comparative and contrastive methods are the key approaches in the thesis, and the practical part of the study is prepared in accordance with them. Moreover, the research focuses on the subtitling translation as one of the most popular techniques. The thesis accent falls on the pragmatic adaptation as well. The results show that for popular science films that are devoted in this case to various themes ranging from the military service and soldiering to natural and scientific projects contain plenty of terms. Consequently, these documentaries demand from a translator special knowledge and deep comprehension. Thus, the most obvious conclusions of the research are the difficulty in the documentary translation on the lexical level that is closely connected with the stylistics of the film text and also on the level of the grammar that is attributed to the differences between the Russian and English languages.

The ever-changing practice of translating movies evolves along with living languages and media development. Dubbing a movie broadens its reach adequately when the primary audience is younger children with little knowledge of the movie’s source language and culture. Dubbing is a form of audiovisual translation where much of the original dialogue can be kept since the time restraints are ruled by the original dialogue. In this study, culture-bound references from the children's movie The Swan Princess (1994) have been analyzed with the purpose of identifying the translation strategies used. The study is qualitative, and the analysis is based on audiovisual translation theory. This study has shown that the cost of subtitling instead of dubbing a movie, for children, is its culture-bound expressions and references. Dubbing has many advantages for audiences who cannot read fast enough for the subtitles to contain something of substance.

Using interpretive methods of social inquiry, this thesis explores the socio-political significance of body tattoos made of Chinese-like text, which have recently become popular Western phenomena. It theorizes how contemporary Western tattooing complicates bodily and social boundaries, providing context to interrogate ideas of authenticity. Coining the term "Chinesenough" (from “Chinese” and “enough”), I describe how many such tattoos do not reflect in Chinese what many wearers and viewers assume they do. I contrast how Chinesenough tattoos (re)produce whiteness to the multiple and contradictory Chinesenesses that are also (re)produced. Reading Chinesenough flash art on tattoo studio walls as objects constituting social space, I consider the social meaning of their English subtitles and manner of organization. I theorize the body’s absence from Chinesenough flash art while articulating my body’s sense experience of encountering the same. Finally, I produce and theorize five illustrations that carnivalize Chinesenough iconography to disrupt and transform the phenomenon.

Using interpretive methods of social inquiry, this thesis explores the socio-political significance of body tattoos made of Chinese-like text, which have recently become popular Western phenomena. It theorizes how contemporary Western tattooing complicates bodily and social boundaries, providing context to interrogate ideas of authenticity. Coining the term "Chinesenough" (from “Chinese” and “enough”), I describe how many such tattoos do not reflect in Chinese what many wearers and viewers assume they do. I contrast how Chinesenough tattoos (re)produce whiteness to the multiple and contradictory Chinesenesses that are also (re)produced. Reading Chinesenough flash art on tattoo studio walls as objects constituting social space, I consider the social meaning of their English subtitles and manner of organization. I theorize the body’s absence from Chinesenough flash art while articulating my body’s sense experience of encountering the same. Finally, I produce and theorize five illustrations that carnivalize Chinesenough iconography to disrupt and transform the phenomenon.

Mat, språk och kultur är tätt sammanlänkade, och i matlagningsprogram förekommer en rad olika sorters kulturspecifika referenser. Kulturspecifika referenser definieras som ”any reference to a cultural entity which, due to its distance from the target culture, is characterized by a sufficient degree of opacity for the target reader to constitute a problem” (Mailhac i Ranzato 2015:54) och kan vara sådant t.ex. som måttenheter (pint), märken (Tabasco) och maträtter (surf and turf). Denna undersöknings fokus är översättningen av kulturspecifika referenser i matlagningsprogram, och eftersom merparten av de matlagningsprogram som översätts för svensk tv är på engelska består denna studies material av 21 engelskspråkiga matlagningsprogram och deras svenska översättningar. De matlagningsprogram som undersökts är Det goda livet, Jamie Olivers smarta rätter, David Roccos ljuva matresa – Italien, Kitchen Hero och Hela England bakar. Genom att att konstruera en korpus och analysera de kulturspecifika referenserna har normerna för översättningsstrategier gällande kulturspecifika referenser i matlagningsprogram kartlagts, och jämförts med resultaten från Pedersens välkända undersökning av primetime-TV (2011). Resultaten kategoriserades sedan enligt Pedersens taxonomi. Resultaten visade att normerna för matlagningsprogram liknade dem för primetime-TV, trots att det fanns ett par domänspecifika skillnader. Eftersom språk formar hur vi ser världen är det intressant att se hur kulturspecifika referenser översätts från en kultur till en annan, eftersom det formar hur den kulturen ses och värderas, eller åtminstone dess matkultur. / Food, language and culture are closely linked and cooking shows are peppered with culturally specific references. Culturally specific references are defined as “any reference to a cultural entity which, due to its distance from the target culture, is characterized by a sufficient degree of opacity for the target reader to constitute a problem” (Mailhac in Ranzato 2015:54) and can be things such as measurements (pints), brands (Tabasco), and dishes (surf and turf) to name a few. This study focuses on the translation of culture specific references in cooking shows. Since most of the cooking shows translated into Swedish are in English, the material for this study consists of 21 cooking shows in English and their Swedish translations. This study will look at the shows 3 good things, Save with Jamie, David Rocco’s Dolce Vita, Kitchen Hero and The Great British Bake off. By constructing a corpus and analyzing the culturally specific references, the norms regarding translation strategies for the translation of culturally specific references in cooking shows have been mapped out, and compared to the results of a well known study on primetime TV by Pedersen (2011). These were categorized in accordance with Pedersen’s taxonomy (2011:76). The results showed that the norms were very similar to those of primetime TV, with the exception of some domain-specific norms. Language influences how we see the world. Thus, the way culturally specific references are translated from one culture into another is important because it affects how cultures are viewed and interpreted, at least within the food community.

Subtitling is a discipline within the Audiovisual Translation (AVT) field that requires some special techniques and strategies to channel the information from a multichannel and polisemiotic document into a written text within the screen. It’s a constrained translation that demands an additional effort to convey the content and the form of the source text into the target one. The aim of this paper is to analyse whether the model of the kernel sentences and clausal ranks of the generative-transformational grammar would work as a more systematic method to extract the essential information of the audiovisual text and organize it in more concise and reduced units of text, i. e., the subtitles. We will also analyse whether this linguistic approach will be enough to meet our objective or if, on the other hand, other extralinguistic aspects intervene. The texts we will be using for our study are Roy Andersson’s commentary on three deleted scenes of his film “Songs from the second floor” and the documentary Den lilla människans storhet, a behind-the-scenes or making-of on the same feature.

[ES] En la última década, el reconocimiento automático del habla (RAH) y la traducción automática (TA) han mejorado enormemente mediante el uso de modelos de redes neuronales profundas (RNP) en constante evolución. Si a principios de los 2010 los sistemas de RAH y TA previos a las RNP llegaron a afrontar con éxito algunas aplicaciones reales como la transcripción y traducción de vídeos docentes pregrabados, ahora en los 2020 son abordables aplicaciones que suponen un reto mucho mayor, como la subtitulación de retransmisiones audiovisuales en directo. En este mismo período, se están invirtiendo cada vez mayores esfuerzos en la accesibilidad a los medios audiovisuales para todos, incluidas las personas sordas. El RAH y la TA, en su estado actual, son grandes herramientas para aumentar la disponibilidad de medidas de accesibilidad como subtítulos, transcripciones y traducciones, y también para proporcionar acceso multilingüe a todo tipo de contenidos. En esta tesis doctoral presentamos resultados de investigación sobre RAH y TA basadas en RNP en tres campos muy activos: los recursos educativos abiertos, los contenidos parlamentarios y los medios audiovisuales. En el área de los recursos educativos abiertos (REA), presentamos primeramente trabajos sobre la evaluación y postedición de RAH y TA con métodos de interacción inteligente, en el marco del proyecto de investigación europeo "transLectures: Transcripción y Traducción de Vídeos Docentes". Los resultados obtenidos confirman que la interacción inteligente puede reducir aún más el esfuerzo de postedición de transcripciones y traducciones automáticas. Seguidamente, en el contexto del posterior proyecto europeo X5gon, presentamos una investigación sobre el desarrollo de sistemas de TA neuronal basados en RNP, y sobre sacar el máximo partido de corpus de TA masivos mediante filtrado automático de datos. Este trabajo dio como resultado sistemas de TA neuronal clasificados entre los mejores en una competición internacional de TA, y mostramos cómo estos nuevos sistemas mejoraron la calidad de los subtítulos multilingües en casos reales de REA. En el ámbito también en crecimiento de las tecnologías del lenguaje para contenidos parlamentarios, describimos una investigación sobre técnicas de filtrado de datos de habla para el RAH en tiempo real en el contexto de debates del Parlamento Europeo. Esta investigación permitió la publicación de Europarl-ASR, un nuevo y amplio corpus de habla para entrenamiento y evaluación de sistemas de RAH en continuo, así como para la evaluación comparativa de técnicas de filtrado de datos de habla. Finalmente, presentamos un trabajo en un ámbito en la vanguardia tecnológica del RAH y de la TA: la subtitulación de retransmisiones audiovisuales en directo, en el marco del Convenio de colaboración I+D+i 2020-2023 entre la radiotelevisión pública valenciana À Punt y la Universitat Politècnica de València para la subtitulación asistida por ordenador de contenidos audiovisuales en tiempo real. Esta investigación ha resultado en la implantación de sistemas de RAH en tiempo real, de alta precisión y baja latencia, para una lengua no mayoritaria en el mundo (el catalán) y una de las lenguas más habladas del mundo (el castellano) en un medio audiovisual real. / [CA] En l'última dècada, el reconeixement automàtic de la parla (RAP) i la traducció automàtica (TA) han millorat enormement mitjançant l'ús de models de xarxes neuronals profundes (XNP) en constant evolució. Si a principis dels 2010 els sistemes de RAP i TA previs a les XNP van arribar a afrontar amb èxit algunes aplicacions reals com la transcripció i traducció de vídeos docents pregravats, ara en els 2020 són abordables aplicacions que suposen un repte molt major, com la subtitulació de retransmissions audiovisuals en directe. En aquest mateix període, s'estan invertint cada vegada majors esforços en l'accessibilitat als mitjans audiovisuals per a tots, incloses les persones sordes. El RAP i la TA, en el seu estat actual, són grans eines per a incrementar la disponibilitat de mesures d'accessibilitat com subtítols, transcripcions i traduccions, també com una manera de proporcionar accés multilingüe a tota classe de continguts. En aquesta tesi doctoral presentem resultats d'investigació sobre RAP i TA basades en XNP en tres camps molt actius: els recursos educatius oberts, els continguts parlamentaris i els mitjans audiovisuals. En l'àrea dels recursos educatius oberts (REO), presentem primerament treballs sobre l'avaluació i postedició de RAP i TA amb mètodes d'interacció intel·ligent, en el marc del projecte d'investigació europeu "transLectures: Transcripció i traducció de vídeos docents". Els resultats obtinguts confirmen que la interacció intel·ligent pot reduir encara més l'esforç de postedició de transcripcions i traduccions automàtiques. Seguidament, en el context del posterior projecte europeu X5gon, presentem una investigació sobre el desenvolupament de sistemes de TA neuronal basats en XNP, i sobre traure el màxim partit de corpus de TA massius mitjançant filtratge automàtic de dades. Aquest treball va donar com a resultat sistemes de TA neuronal classificats entre els millors en una competició internacional de TA, i mostrem com aquests nous sistemes milloren la qualitat dels subtítols multilingües en casos reals de REO. En l'àmbit també en creixement de les tecnologies del llenguatge per a continguts parlamentaris, descrivim una investigació sobre tècniques de filtratge de dades de parla per al RAP en temps real en el context de debats del Parlament Europeu. Aquesta investigació va permetre la publicació d'Europarl-ASR, un corpus de parla nou i ampli per a l'entrenament i l'avaluació de sistemes de RAP en continu, així com per a l'avaluació comparativa de tècniques de filtratge de dades de parla. Finalment, presentem un treball en un àmbit en l'avantguarda tecnològica del RAP i de la TA: la subtitulació de retransmissions audiovisuals en directe, en el context del Conveni de col·laboració R+D+i 2020-2023 entre la radiotelevisió pública valenciana À Punt i la Universitat Politècnica de València per a la subtitulació assistida per ordinador de continguts audiovisuals en temps real. Aquesta investigació ha donat com a resultat la implantació de sistemes de RAP en temps real, amb alta precisió i baixa latència, per a una llengua no majoritària en el món (el català) i una de les llengües més parlades del món (el castellà) en un mitjà audiovisual real. / [EN] In the last decade, automatic speech recognition (ASR) and machine translation (MT) have improved enormously through the use of constantly evolving deep neural network (DNN) models. If at the beginning of the 2010s the then pre-DNN ASR and MT systems were ready to tackle with success some real-life applications such as offline video lecture transcription and translation, now in the 2020s much more challenging applications are within grasp, such as live broadcast media subtitling. At the same time in this period, media accessibility for everyone, including deaf and hard-of-hearing people, is being given more and more importance. ASR and MT, in their current state, are powerful tools to increase the coverage of accessibility measures such as subtitles, transcriptions and translations, also as a way of providing multilingual access to all types of content. In this PhD thesis, we present research results on automatic speech recognition and machine translation based on deep neural networks in three very active domains: open educational resources, parliamentary contents and broadcast media. Regarding open educational resources (OER), we first present work on the evaluation and post-editing of ASR and MT with intelligent interaction approaches, as carried out in the framework of EU project transLectures: Transcription and Translation of Video Lectures. The results obtained confirm that the intelligent interaction approach can make post-editing automatic transcriptions and translations even more cost-effective. Then, in the context of subsequent EU project X5gon, we present research on developing DNN-based neural MT systems, and making the most of larger MT corpora through automatic data filtering. This work resulted in a first-rank classification in an international evaluation campaign on MT, and we show how these new NMT systems improved the quality of multilingual subtitles in real OER scenarios. In the also growing domain of language technologies for parliamentary contents, we describe research on speech data curation techniques for streaming ASR in the context of European Parliament debates. This research resulted in the release of Europarl-ASR, a new, large speech corpus for streaming ASR system training and evaluation, as well as for the benchmarking of speech data curation techniques. Finally, we present work in a domain on the edge of the state of the art for ASR and MT: the live subtitling of broadcast media, in the context of the 2020-2023 R&D collaboration agreement between the Valencian public broadcaster À Punt and the Universitat Politècnica de València for real-time computer assisted subtitling of media contents. This research has resulted in the deployment of high-quality, low-latency, real-time streaming ASR systems for a less-spoken language (Catalan) and a widely spoken language (Spanish) in a real broadcast use case. / The research leading to these results has received funding from the European Union’s Seventh Framework Programme (FP7/2007-2013) under grant agreement no. 287755 (transLectures), Competitiveness and Innovation Framework Programme (CIP) under grant agreement no. 621030 (EMMA), Horizon 2020 research and innovation programme under grant agreements no. 761758 (X5gon) and no. 952215 (TAILOR), and EU4Health Programme 2021–2027 as part of Europe’s Beating Cancer Plan under grant agreements no. 101056995 (INTERACT-EUROPE) and no. 101129375 (INTERACT-EUROPE 100); from the Government of Spain’s research projects iTrans2 (ref. TIN2009-14511, MICINN/ERDF EU), MORE (ref. TIN2015-68326-R,MINECO/ERDF EU), Multisub (ref. RTI2018-094879-B-I00, MCIN/AEI/10.13039/501100011033 ERDF “A way of making Europe”), and XLinDub (ref. PID2021-122443OB-I00, MCIN/AEI/10.13039/501100011033 ERDF “A way of making Europe”); from the Generalitat Valenciana’s “R&D collaboration agreement between the Corporació Valenciana de Mitjans de Comunicació (À Punt Mèdia) and the Universitat Politècnica de València (UPV) for real-time computer assisted subtitling of audiovisual contents based on artificial intelligence”, and research project Classroom Activity Recognition (PROMETEO/2019/111); and from the Universitat Politècnica de València’s PAID-01-17 R&D support programme. This work uses data from the RTVE 2018 and 2020 Databases. This set of data has been provided by RTVE Corporation to help develop Spanish-language speech technologies. / Garcés Díaz-Munío, GV. (2024). Automatic Speech Recognition and Machine Translation with Deep Neural Networks for Open Educational Resources, Parliamentary Contents and Broadcast Media [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/212454