Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

La traduction audiovisuelle (TAV) est un domaine en expansion pour lequel l'intérêt ne cesse de grandir depuis plus de deux décennies. En effet, 1995 est une année décisive pour la TAV, qui est mise de l'avant à l'occasion du centenaire du cinéma. À travers ses différentes formes, le doublage et le sous-titrage étant les plus connus, la TAV est un véritable vecteur de la diffusion des œuvres cinématographiques. À une recherche jusque-là fragmentaire et épisodique sur le domaine succède une profusion d'articles, de livres, de thèses, etc. Seulement, une préoccupation semble revenir dans les recherches sur la TAV : l'instabilité de sa terminologie, soumise à la variation. Nous avons décidé de nous pencher sur cette préoccupation en étudiant la terminologie anglaise et française de la TAV. Existe-t-il réellement de la variation terminologique en TAV ? Si oui, quelle en est l'ampleur ? Y a-t-il des formes de TAV qui sont plus concernées que d'autres ? Quelles sont les causes possibles de cette potentielle variation ? Est-elle visible seulement dans les écrits des chercheurs ou aussi dans les textes des professionnels du domaine ? Il s'agit là de questions auxquelles nous avons tenté de répondre grâce à un corpus d'étude constitué de textes de chercheurs et de professionnels du domaine publiés entre 1990 et 2019. Les textes du corpus, dépouillés manuellement ou électroniquement en fonction de leur format, nous ont permis de relever 380 concepts en anglais et 410 concepts en français désignés par plus de 500 termes dans chacune des langues. L'analyse du corpus révèle ainsi que le phénomène de variation terminologique est bien réel dans le domaine de la TAV, du moins, en français et en anglais. Sept types de variation ont été notés : la variation géographique, diachronique, discursive, orthographique, interlinguistique, cognitive et morphologique. La variation discursive est la plus importante dans les deux sous-corpus (chercheurs et professionnels) ainsi que dans les deux langues (anglais et français). Les causes de la variation terminologique en TAV semblent variées. De manière globale, la variation diachronique, l'absence de néologie et l'importation de la terminologie de domaines connexes comme le cinéma semblent être à l'origine de cas de variation correspondant à plus d'un des types énumérés ci-dessus. / Audiovisual translation (AVT) is a growing field in which interest has been increasing for more than two decades. Indeed, 1995 was a decisive year for AVT, on which light was thrown when cinema turned 100 years. Through its various forms, dubbing and subtitling being the best known, AVT is a true vector for the distribution of cinematographic works. Research in this field, which had been fragmentary and episodic until then, has exploded with tons of articles, books, theses, etc. published. However, one concern seems to recur in research on AVT: the instability of its terminology which is subject to variation. We decided to address this concern by studying the English and French terminology of AVT. Does terminological variation really exist in this domain? If so, to what extent? Are some forms more affected than others? What are the possible causes of this potential variation? Is it visible only in writings of researchers or also in texts of professionals in the field? These are questions that we have tried to answer using a study corpus consisting of texts published by researchers and professionals in the field between 1990 and 2019. The texts, from which terms were extracted either manually or automatically according to their format, enabled us to identify 380 concepts in English and 410 concepts in French designated by more than 500 terms in each language. Thus, the corpus analysis reveals that terminological variation is real in AVT, at least in English and French. Seven types of variation were identified: geographic, diachronic, discursive, orthographic, cross-linguistic, cognitive, and morphological. Discursive variation is the most important in both sub-corpuses (researchers and professionals) and in both languages (English and French). The causes of terminological variation in AVT appear to be varied. Overall, diachronic variation, lack of neology, and importation of terminology from related fields such as cinema studies seem to be at the origin of cases of variation corresponding to more than one of the types listed above.

L’objectif de cette thèse consiste à cerner les enjeux, les contraintes et les normes qui régissent le sous-titrage cinématographique en tant qu’opération traduisante. Cette recherche se fonde sur un corpus constitué de films français, dont des comédies (romantiques) particulièrement, qui ont été tout récemment distribués dans les salles chinoises. Dans un premier temps, nous essayons de mettre en évidence, suivant l’évolution des échanges cinématographiques entre la Chine et d’autres pays, plus spécifiquement la France, les enjeux qu’un pays avec sa politique, son idéologie propre, son économie, sa société et son peuple pose à l’introduction des films étrangers ainsi qu’à leur transfert linguistique en général et à leur sous-titrage en particulier. Dans un second temps, nous tentons de démontrer, à la lumière de la théorie interprétative, qu’à l’instar de toute opération traduisante, le sous-titrage est soumis aux mêmes étapes, à savoir la compréhension du sens original, sa déverbalisation, sa réexpression dans la langue-cible, et l’analyse justificative de la solution retenue. En même temps, nous ne tardons pas à signaler les contraintes auxquelles devrait obéir le sous-titrage, qualifié de traduction contrainte ainsi que leur impact sur l’équivalence du sens. N’étant qu’une introduction à d’autres travaux de recherche sur le sous-titrage, qui reste jusque-là plutôt une activité empirique, cette étude vise à susciter plus d’intérêts de la part de la communauté scientifique, qui pourrait sortir de la marginalisation cet immense champ transdisciplinaire. / The purpose of this thesis is to identify the challenges, constraints and norms that govern film captioning as a translating operation. This research is based on a corpus of French films, including (romantic) comedies, which have recently been distributed in Chinese cinemas. At first, we try to highlight, following the evolution of the cinematographic exchanges between China and other countries, more specifically France, the challenges that a country with its politics, its own ideology, its economy, his society and his people, sets for the introduction of foreign films as well as their linguistic transfer in general and their subtitling in particular. Secondly, we try to demonstrate, in the light of the interpretative theory, that, like any translating operation, subtitling is subjected to the same stages, namely the understanding of the original meaning, its deverbalisation, its re-expression in the target language, and the justifying analysis of the chosen solution. Meanwhile, we will point out the constraints to which subtitling should be subjected, described as constrained translation, as well as their impact on the equivalence of meaning.As an introduction to other research on subtitling, which until now has been mostly an empirical activity, this study aims to generate more interest from the scientific community, which could change the marginal status of this immense transdisciplinary field.

Cette analyse examine la problématique du sous-titrage des références liées à la culture (RLC). On s’intéresse à une question fondamentale : Comment le sous-titrage des RLC oriente-t-il un film vers la culture cible et quelles sont les conséquences possibles de cette orientation? Dans le premier chapitre, je vais faire une étude de l’histoire de la traduction du cinéma. En analysant comment les distributeurs et les exploitants ont abordé la traduction audiovisuelle, je vais exposer l’influence importante des motivations nationalistes sur le développement des processus de traduction. Le deuxième chapitre traite des contraintes posées par le sous-titrage des références liées à la culture. Il se concentre sur les choix du traducteur et sur son influence sur l’orientation (vers la culture source ou culture cible) d’un film. Finalement, dans le troisième chapitre, je vais examiner comment le sous-titreur peut transformer le récit d’un film. Je soutiens que le sous-titreur transforme un film selon ses propres sensibilités. A travers des stratégies de traduction orientées vers la culture cible, il peut aussi promouvoir la dominance culturelle de son pays. Cette domination peut menacer l’équilibre politique en matière de pouvoir, empêchant le multiculturalisme et l’échange équitable des films entre pays.

Cette étude s'intéresse aux phénomènes inhérents à la traduction au confluent des deux domaines en plein essor que sont la traduction de l'humour et la traduction audiovisuelle. Elle s'attache, par l'analyse de la série télévisée française Kaamelott, à la traduisibilité de l'humour verbal malgré les restrictions techniques liées au sous-titrage. Plus particulièrement, cette étude décrit brièvement le contexte de production propre à la série ainsi que les concepts clés que sont l'humour et la traduction audiovisuelle avant d'établir une taxonomie des procédés d'humour verbal dans les dialogues originaux. Les neuf procédés retenus sont ensuite décrits et leur traduction analysée, afin de démontrer, entre autres, que l'humour verbal relevé dans Kaamelott est presque toujours traduisible selon les mêmes procédés.

De nos jours, les séries télévisées américaines représentent une part incontournable de la culture populaire, à tel point que plusieurs traductions audiovisuelles coexistent au sein de la francophonie. Outre le doublage qui permet leur diffusion à la télévision, elles peuvent être sous titrées jusqu’à trois fois soit, en ordre chronologique : par des fans sur Internet; au Québec, pour la vente sur DVD en Amérique du Nord; et en France, pour la vente sur DVD en Europe. Pourtant, bien que ces trois sous titrages répondent aux mêmes contraintes linguistiques (celles de la langue française) et techniques (diffusion au petit écran), ils diffèrent dans leur traitement des dialogues originaux. Nous établissons dans un premier temps les pratiques à l’œuvre auprès des professionnels et des amateurs. Par la suite, l’analyse des traductions ainsi que le recours à un corpus comparable de séries télévisées françaises et québécoises permettent d’établir les normes linguistiques (notamment eu égard à la variété) et culturelles appliquées par les différents traducteurs et, subsidiairement, de définir ce que cache l’appellation « Canadian French ». Cette thèse s’inscrit dans le cadre des études descriptives et sociologiques. Nous y décrivons la réalité professionnelle des traducteurs de l’audiovisuel et l’influence que les fansubbers exercent non seulement sur la pratique professionnelle, mais aussi sur de nouvelles méthodes de formation de la prochaine génération de traducteurs. Par ailleurs, en étudiant plusieurs traductions d’une même œuvre, nous démontrons que les variétés de français ne sauraient justifier, à elles seules, la multiplication de l’offre en sous titrage, vu le faible taux de différences purement linguistiques. / American television series are such an integral aspect of popular culture that different audiovisual translations into French exist in various parts of the world. Not only are these series dubbed to be broadcast on television, they may be subtitled up to three times, usually in this order: by fans online; in Quebec for North American DVD sales; and in France for European DVD sales. While all subtitling endeavours face the same constraints, namely linguistic (those of the French language) and technical (for airing on the small screen), each deals with the original dialogue in its own fashion. We will start by identifying the practices of both professional and amateur translators. Next, we will analyze a number of translations and compare them to a corpus of similar television series originally produced in France or French Quebec to establish the cultural and linguistic standards applied by different translators to determine what is known as “Canadian French.” This thesis was written with a view to expanding descriptive and sociological studies. We will describe herein the professional reality of audiovisual translators, as well as the influence of fansubbers on not only professional translation practice, but also on new translation methods to train the next generation of translators. By studying several translations of the same work, we can demonstrate that the different varieties of French cannot, on account of the relatively few purely linguistic differences that exist, justify the proliferation of the number of subtitled versions available.

Ce travail a pour but de proposer une méthodologie pour le traducteur en ce qui concerne la variation linguistique dans le cadre du sous-titrage. Pour cela, on fait l’analyse des sous-titres du DVD de la comédie Bienvenue chez les ch’tis. Ce film regarde l’histoire d’un habitant du sud de la France qui est muté pour des raisons disciplinaires au nord du pays, où on parle le ch’ti. L’humour du film est fondé sur les préjugés et malentendus engendrés par la situation de contact entre les deux dialectes du français. Cette situation pose plusieurs questions et crée des obstacles pour le traducteur qui sont multipliés dans le contexte de sous-titrage, la traduction audiovisuelle étant plus restreinte que la traduction écrite. Le cadre théorique est guidé par le quatre points présents au film : la traduction, le sous-titrage, la variation linguistique et l’humour. La traduction est vue selon une perspective fonctionnaliste ; le soustitrage est pris comme une modalité de la Traduction Audiovisuelle ; la variation linguistique est traitée à partir des concepts puisés dans la Dialectologie et la Sociolinguistique ; et l’humour est vu du point de vue de la traduction. La transcription des dialogues et des soustitres des extraits du film où il y a une situation de contact entre les dialectes est analysée. Après cette analyse de la transcription, on dresse une liste des problèmes de traduction inhérents à l’original et des défaillances aux sous-titres. À partir de cette liste, on identifie les solutions et stratégies de traduction que le traducteur a utilisées, aussi bien que leur efficacité. Enfin, on fait une proposition méthodologique pour le traitement de la variation linguistique dans le cadre du sous-titrage. On espère, avec ce travail, contribuer aux études sur le soustitrage au Brésil, ainsi qu’enrichir la pratique de ceux travaillant déjà, et souligner l’importance d’une spécialisation pour ceux qui veulent travailler dans ce marché, ainsi que encourager de nouvelles recherches dans le domaine pour que le décalage entre théorie et pratique soit de plus en plus petit. / Este trabalho tem como objetivo propor uma metodologia de trabalho para o tradutor que se depara com a variação linguística no âmbito da legendagem. Para tanto, é feita a análise das legendas do DVD da comédia francesa A Riviera Não é Aqui (Bienvenue chez les ch’tis). O filme conta a história de um morador do sul da França que é transferido por motivos disciplinares para o extremo norte do país, onde os habitantes falam o dialeto ch’ti. O humor do filme é baseado nos preconceitos e mal-entendidos gerados pela situação de contato entre os dois dialetos do francês. Essa situação levanta uma série de questões e obstáculos para o trabalho do tradutor, que são multiplicados no contexto da legendagem, porque o meio audiovisual é mais limitado do que o escrito. O referencial teórico é pautado em quatro pontos: tradução, legendagem, variação linguística e humor. A tradução é revista dentro da perspectiva funcionalista, sendo a legendagem considerada como uma modalidade da Tradução Audiovisual; a variação linguística é tratada a partir da revisão de conceitos extraídos de disciplinas como a Dialetologia e a Sociolinguística e também da Tradução; e o humor é revisto do ponto de vista tradutório. A análise se dá a partir da transcrição do áudio e das legendas dos trechos em que há situação de contato entre as duas variedades geográficas no filme. Após a análise da transcrição, é feito um levantamento e uma classificação dos problemas de tradução inerentes ao original e das falhas encontradas na legenda. A partir dessa classificação, é feita a identificação das soluções e estratégias tradutórias do legendista, bem como a análise da sua eficácia. Por fim, é apresentada uma proposta metodológica para o tratamento da variação linguística na legendagem, a partir dos erros e acertos encontrados na legendação do filme A Riviera Não é Aqui. Com isso, espera-se contribuir para os estudos na área da legendagem no Brasil, enriquecendo a prática daqueles que já trabalham com isso, e enfatizar a importância de uma especialização na área da legendagem por parte dos tradutores que desejam atuar neste mercado, além de encorajar novas pesquisas para que a distância entre a prática e a teoria se torne cada vez menor.

Ce travail a pour but de proposer une méthodologie pour le traducteur en ce qui concerne la variation linguistique dans le cadre du sous-titrage. Pour cela, on fait l’analyse des sous-titres du DVD de la comédie Bienvenue chez les ch’tis. Ce film regarde l’histoire d’un habitant du sud de la France qui est muté pour des raisons disciplinaires au nord du pays, où on parle le ch’ti. L’humour du film est fondé sur les préjugés et malentendus engendrés par la situation de contact entre les deux dialectes du français. Cette situation pose plusieurs questions et crée des obstacles pour le traducteur qui sont multipliés dans le contexte de sous-titrage, la traduction audiovisuelle étant plus restreinte que la traduction écrite. Le cadre théorique est guidé par le quatre points présents au film : la traduction, le sous-titrage, la variation linguistique et l’humour. La traduction est vue selon une perspective fonctionnaliste ; le soustitrage est pris comme une modalité de la Traduction Audiovisuelle ; la variation linguistique est traitée à partir des concepts puisés dans la Dialectologie et la Sociolinguistique ; et l’humour est vu du point de vue de la traduction. La transcription des dialogues et des soustitres des extraits du film où il y a une situation de contact entre les dialectes est analysée. Après cette analyse de la transcription, on dresse une liste des problèmes de traduction inhérents à l’original et des défaillances aux sous-titres. À partir de cette liste, on identifie les solutions et stratégies de traduction que le traducteur a utilisées, aussi bien que leur efficacité. Enfin, on fait une proposition méthodologique pour le traitement de la variation linguistique dans le cadre du sous-titrage. On espère, avec ce travail, contribuer aux études sur le soustitrage au Brésil, ainsi qu’enrichir la pratique de ceux travaillant déjà, et souligner l’importance d’une spécialisation pour ceux qui veulent travailler dans ce marché, ainsi que encourager de nouvelles recherches dans le domaine pour que le décalage entre théorie et pratique soit de plus en plus petit. / Este trabalho tem como objetivo propor uma metodologia de trabalho para o tradutor que se depara com a variação linguística no âmbito da legendagem. Para tanto, é feita a análise das legendas do DVD da comédia francesa A Riviera Não é Aqui (Bienvenue chez les ch’tis). O filme conta a história de um morador do sul da França que é transferido por motivos disciplinares para o extremo norte do país, onde os habitantes falam o dialeto ch’ti. O humor do filme é baseado nos preconceitos e mal-entendidos gerados pela situação de contato entre os dois dialetos do francês. Essa situação levanta uma série de questões e obstáculos para o trabalho do tradutor, que são multiplicados no contexto da legendagem, porque o meio audiovisual é mais limitado do que o escrito. O referencial teórico é pautado em quatro pontos: tradução, legendagem, variação linguística e humor. A tradução é revista dentro da perspectiva funcionalista, sendo a legendagem considerada como uma modalidade da Tradução Audiovisual; a variação linguística é tratada a partir da revisão de conceitos extraídos de disciplinas como a Dialetologia e a Sociolinguística e também da Tradução; e o humor é revisto do ponto de vista tradutório. A análise se dá a partir da transcrição do áudio e das legendas dos trechos em que há situação de contato entre as duas variedades geográficas no filme. Após a análise da transcrição, é feito um levantamento e uma classificação dos problemas de tradução inerentes ao original e das falhas encontradas na legenda. A partir dessa classificação, é feita a identificação das soluções e estratégias tradutórias do legendista, bem como a análise da sua eficácia. Por fim, é apresentada uma proposta metodológica para o tratamento da variação linguística na legendagem, a partir dos erros e acertos encontrados na legendação do filme A Riviera Não é Aqui. Com isso, espera-se contribuir para os estudos na área da legendagem no Brasil, enriquecendo a prática daqueles que já trabalham com isso, e enfatizar a importância de uma especialização na área da legendagem por parte dos tradutores que desejam atuar neste mercado, além de encorajar novas pesquisas para que a distância entre a prática e a teoria se torne cada vez menor.

Ce travail a pour but de proposer une méthodologie pour le traducteur en ce qui concerne la variation linguistique dans le cadre du sous-titrage. Pour cela, on fait l’analyse des sous-titres du DVD de la comédie Bienvenue chez les ch’tis. Ce film regarde l’histoire d’un habitant du sud de la France qui est muté pour des raisons disciplinaires au nord du pays, où on parle le ch’ti. L’humour du film est fondé sur les préjugés et malentendus engendrés par la situation de contact entre les deux dialectes du français. Cette situation pose plusieurs questions et crée des obstacles pour le traducteur qui sont multipliés dans le contexte de sous-titrage, la traduction audiovisuelle étant plus restreinte que la traduction écrite. Le cadre théorique est guidé par le quatre points présents au film : la traduction, le sous-titrage, la variation linguistique et l’humour. La traduction est vue selon une perspective fonctionnaliste ; le soustitrage est pris comme une modalité de la Traduction Audiovisuelle ; la variation linguistique est traitée à partir des concepts puisés dans la Dialectologie et la Sociolinguistique ; et l’humour est vu du point de vue de la traduction. La transcription des dialogues et des soustitres des extraits du film où il y a une situation de contact entre les dialectes est analysée. Après cette analyse de la transcription, on dresse une liste des problèmes de traduction inhérents à l’original et des défaillances aux sous-titres. À partir de cette liste, on identifie les solutions et stratégies de traduction que le traducteur a utilisées, aussi bien que leur efficacité. Enfin, on fait une proposition méthodologique pour le traitement de la variation linguistique dans le cadre du sous-titrage. On espère, avec ce travail, contribuer aux études sur le soustitrage au Brésil, ainsi qu’enrichir la pratique de ceux travaillant déjà, et souligner l’importance d’une spécialisation pour ceux qui veulent travailler dans ce marché, ainsi que encourager de nouvelles recherches dans le domaine pour que le décalage entre théorie et pratique soit de plus en plus petit. / Este trabalho tem como objetivo propor uma metodologia de trabalho para o tradutor que se depara com a variação linguística no âmbito da legendagem. Para tanto, é feita a análise das legendas do DVD da comédia francesa A Riviera Não é Aqui (Bienvenue chez les ch’tis). O filme conta a história de um morador do sul da França que é transferido por motivos disciplinares para o extremo norte do país, onde os habitantes falam o dialeto ch’ti. O humor do filme é baseado nos preconceitos e mal-entendidos gerados pela situação de contato entre os dois dialetos do francês. Essa situação levanta uma série de questões e obstáculos para o trabalho do tradutor, que são multiplicados no contexto da legendagem, porque o meio audiovisual é mais limitado do que o escrito. O referencial teórico é pautado em quatro pontos: tradução, legendagem, variação linguística e humor. A tradução é revista dentro da perspectiva funcionalista, sendo a legendagem considerada como uma modalidade da Tradução Audiovisual; a variação linguística é tratada a partir da revisão de conceitos extraídos de disciplinas como a Dialetologia e a Sociolinguística e também da Tradução; e o humor é revisto do ponto de vista tradutório. A análise se dá a partir da transcrição do áudio e das legendas dos trechos em que há situação de contato entre as duas variedades geográficas no filme. Após a análise da transcrição, é feito um levantamento e uma classificação dos problemas de tradução inerentes ao original e das falhas encontradas na legenda. A partir dessa classificação, é feita a identificação das soluções e estratégias tradutórias do legendista, bem como a análise da sua eficácia. Por fim, é apresentada uma proposta metodológica para o tratamento da variação linguística na legendagem, a partir dos erros e acertos encontrados na legendação do filme A Riviera Não é Aqui. Com isso, espera-se contribuir para os estudos na área da legendagem no Brasil, enriquecendo a prática daqueles que já trabalham com isso, e enfatizar a importância de uma especialização na área da legendagem por parte dos tradutores que desejam atuar neste mercado, além de encorajar novas pesquisas para que a distância entre a prática e a teoria se torne cada vez menor.

Le sous-titrage d’images est la tâche de l’intelligence artificielle (IA) qui consiste à décrire des images en langage naturel. Cette tâche d’IA a plusieurs applications sociétales utiles, telles que l’accessibilité pour les malvoyants, la génération automatisée de contenu, l’interaction humain-robot et l’analyse d’imagerie médicale. Au cours des huit dernières années, la recherche sur le sous-titrage d'images a connu d'énormes progrès dans la création de modèles solides, la collecte d'ensembles de données à grande échelle ainsi que le développement de mesures d'évaluation automatique. Malgré ces progrès remarquables, la recherche sur le sous-titrage d'images est confrontée à deux défis majeurs: 1) Comment construire des modèles efficaces en termes de paramètres, et 2) Comment construire des métriques d'évaluation automatique robustes. Dans cette thèse, nous apportons notre contribution à la résolution de chacun de ces défis. Premièrement, nous proposons une méthode efficace en termes de paramètres (MAPL \cite{mapl}) qui adapte des modèles pré-entraînés unimodaux de vision uniquement et de langage uniquement pour la tâche multimodale de sous-titrage d'images. MAPL apprend un mappage léger entre les espaces de représentation des modèles unimodaux. Ainsi, MAPL peut exploiter les fortes capacités de généralisation des modèles unimodaux pré-entraînés pour des tâches multimodales telles que le sous-titrage d'images. Deuxièmement, nous présentons une étude systématique de la robustesse des mesures d’évaluation des sous-titres d’images récemment proposées. Même si ces métriques correspondent bien aux jugements humains, nous avons constaté qu'elles ne sont pas robustes pour identifier les erreurs fines dans les légendes générées par le modèle. Il faut donc faire preuve de prudence lors de l'utilisation de ces métriques pour l'évaluation des sous-titres d'images. Nous espérons que nos résultats guideront de nouvelles améliorations dans l’évaluation automatique du sous-titrage d’images. / Image captioning is the artificial intelligence (AI) task of describing images in natural language. This AI task has several useful societal applications, such as accessibility for the visually impaired, automated content generation, human-robot interaction, and medical imaging analysis. Over the last eight years, image captioning research has seen tremendous progress in building strong models, collecting large scale datasets as well as developing automatic evaluation metrics. Despite such remarkable progress, image captioning research faces two major challenges: 1) How to build parameter-efficient models, and 2) How to build robust automatic evaluation metrics. In this thesis, we make contributions towards tackling each of these challenges. First, we propose a parameter efficient method (MAPL \cite{mapl}) that adapts pre-trained unimodal vision-only and language-only models for the multimodal task of image captioning. MAPL learns a lightweight mapping between the representation spaces of the unimodal models. Thus, MAPL can leverage the strong generalization capabilities of the pre-trained unimodal models for multimodal tasks such as image captioning. Second, we present a systematic study of the robustness of recently proposed image captioning evaluation metrics. Even though these metrics correlate well with human judgments, we found that these metrics are not robust in identifying fine-grained errors in model generated captions, and thus, caution needs to be exercised when using these metrics for image captioning evaluation. We hope our findings will guide further improvements in the automatic evaluation of image captioning.