[pt] O objetivo principal deste trabalho de pesquisa é entender o uso de textos visuais na sala de aula e seu impacto na aprendizagem. A pesquisa enfoca o uso de textos visuais para facilitar a aplicação de uma perspectiva pedagógica que objetive a sócio-construção do conhecimento, o sócio-interacionismo, seguindo a concepção de Bakhtin (2000), Freire (1979), Mercer (1994) e Vygotsky (1994). Com essa base teórica, a pesquisa aplica a gramática do desenho visual (Kress e van Leeuwen, 1996) em um ambiente de sala de aula, ao examinar as interpretações feitas pelos próprios aprendizes em relação às imagens utilizadas pela professora, para que se observa de que forma as observações dos aprendizes evocam as categorias na gramática do desenho visual e, portanto, trazer luz sobre o conhecimento desses aprendizes de como ler imagens. Discute-se as implicações de uma abordagem pedagógica que objetiva construir o letramento visual no ambiente de ensino da língua inglesa. / [en] The main purpose of this study is to understand the use of visual texts in the classroom and their impact on learning. The research focuses on how the use of visual texts can facilitate the application of a construction of meanings and the socio- interactional perspective on teaching/learning, according to Bakhtin (2000), Freire (1979), Mercer (1994) and Vygotsky (1994). With this theoretical framework, the study applies the grammar of visual design (Kress & Van Leeuwen, 1996) to a classroom setting by examining the learners’ interpretations of the images used by the teacher, to observe to what extent their observations evoke the categories in the grammar of visual design and thus indicate knowledge of how to read images. The study discusses the implications of an approach to teaching and learning that aims at building visual literacy in the setting of English language teaching.

[pt] Esta tese possui como objetivo investigar o mapeamento entre o conteúdo de sentenças e aquele apresentado em gráficos no processo de compreensão multimodal. Assume-se uma abordagem experimental, baseada nos aportes teórico-metodológicos da Psicologia Cognitiva e da Psicolinguística, aliada a discussões pertinentes à área de Educação Matemática e aos estudos sobre multimodalidade e letramento. Consideram-se duas propostas acerca da integração entre informação linguística e visual: uma vinculada à hipótese de modularidade representacional de Jackendoff (1996), em que se defende a ideia de módulos de interface, de natureza híbrida, e uma proposta alternativa, assumida no presente trabalho, segundo a qual tanto o processamento linguístico como o visual gerariam representações de natureza abstrata/proposicional, que seriam integradas em uma interface conceitual. Buscou-se verificar (i) se fatores top-down como conhecimento prévio do assunto afetam essa integração e (ii) em que medida informação linguística instaura expectativas acerca da informação expressa no gráfico. Foram conduzidos dois experimentos de comparação sentença-figura com gráficos de coluna e de linha, utilizando o programa psyscope, e um envolvendo gráficos de linha com a técnica de rastreamento ocular. Não foram encontradas evidências de efeitos top-down no experimento com gráfico de colunas. Foram obtidos, contudo, efeitos significativos para tempo de resposta associados a outros fatores, quais sejam correção do gráfico, expressão lexical usada para comparar itens do gráfico (maior vs menor, p. ex.) e número de itens referidos na sentença a serem localizados no gráfico. Nos dois experimentos com gráficos de linha, as variáveis independentes foram (i) congruência (linha congruente/incongruente em relação ao verbo – exemplo: linha inclinada para cima ou para baixo vs. verbo subir) e (ii) correção do gráfico em expressar o conteúdo da frase, manipulada com alterações na linha e na ordenação (ascendente/descendente) de informação temporal no eixo x. No experimento com psyscope, os resultados indicaram não haver dificuldade de julgar a compatibilidade frase/gráfico quando congruência e correção não divergiam. Para tempo de resposta, houve efeito principal de congruência e correção, com menores tempos associados, respectivamente, às condições em que a linha era congruente com o verbo e o gráfico correto. Também houve efeito de interação entre as variáveis. No experimento com rastreador ocular, foram analisados índice de acertos, número e tempo total de duração das fixações e trajetória do olhar nas áreas de interesse demarcadas. Em relação a índice de acerto, assim como no experimento com psycope, maior dificuldade de processamento estava associada à condição incongruente correta, em que há quebra de expectativa em relação à posição da linha (vs. verbo) e ao modo usual de organização dos gráficos no eixo x. Quanto aos movimentos oculares, na área do gráfico, observou-se maior número e tempo total de duração das fixações nas condições corretas; na área da frase, tais condições apresentaram resultados opostos. Quanto à trajetória do olhar, os dados sugerem ser a informação linguística acessada em primeiro lugar, orientando a leitura do gráfico. Considerando os resultados em conjunto, pode-se afirmar que o custo de integração é determinado pela compatibilidade (ou não) entre as proposições geradas pelos módulos linguístico e visual. / [en] This thesis aims at investigating the mapping between the sentential content and the content presented in graphs in a multimodal comprehension process. We assume an experimental approach, based on Cognitive Pyschology and Psycholinguistics methodological and theoretical contributions as well as literacy and multimodality studies. Two proposals concerning the integration between linguistic and visual information are considered: one linked to Jackendoff s (1996) representational modularity hypothesis, in which, the idea of interface modules, of hybrid nature, is defended; and an alternative one according to which linguistic and visual processing could generate propositional/abstract representations which could be integrated into a conceptual interface. We tried to check (i) if top-down aspects such as prior knowledge can affect this integration and (ii) in what extent linguistic information may bring expectations about the information expressed in the graph. Sentence-picture comparison experiments were conducted with line and columns graphs using the pyscope software, and another one concerning line graphs with eye tracking technique. Top-down effects were not found in columns graphs experiment. However, significant effects related to response time associated with other aspects such as graph accuracy, lexical expression used in order to compare graph elements (larger x smaller, for example) and the number of elements in the sentence that must be found in the graph. In both experiments with line graphs, the independent variables were (i) congruency (congruent/incongruent line in relation to the verb - line up or down vs verb increase) and (ii) accuracy of the graph in order to express the content of the sentence, manipulated with changes in the line and time information order (ascendant/descendent) in x axis. In psyscope experiment, there was no difficulty in judging the sentence-picture compatibility when congruency and correction were not different. Concerning the response time, there was effect of congruency and correction, with shorter times associated, respectively, to the conditions in which line was congruent to the verb and correct graph. There was also effect of interaction. In eye tracking experiment, accuracy rates, number of fixations, total fixation duration and the scanpath in areas of interest were analysed. In relation to accuracy rates, similar to psyscope experiment, more difficulty in processing was associated to incongruent/incorrect condition, in which there is a break in the expectation related to the line position (vs.verb) and the common organization of the elements displayed in x axis. Concerning eye movements, in the graph area, number of fixations and total fixation duration were higher in correct conditions; in the sentence area, these results were opposite. Analyzing the scanpath, data suggest that linguistic information is accessed first, guiding the graph reading. To conclude, it s possible to state that the cost of integration is determined by compatibility (or not) between the propositions from both linguistic and visual modules.

[pt] O transporte é geralmente o elemento mais importante nos custos logísticos, para a maioria das empresas. A movimentação de fretes absorve, segundo Ballou (1993), entre um e dois terços do total de custos logísticos. Dentro desse panorama desenvolveu-se este estudo sobre multimodalidade. O foco está nas instalações e serviços que compõem o sistema de transporte multimodal, com especial destaque para a infra-estrutura portuária, nas taxas (custos) e no desempenho dos vários serviços envolvidos. O principal objetivo do trabalho é compreender como o processo de privatização das estruturas de transporte, portos, ferrovias e rodovias, viabilizou a evolução da Multimodalidade como alternativa ao transporte nacional. Um assunto relativamente novo, ainda pouco explorado academicamente e com escassas referencias bibliográficas. Para que se tenha um entendimento de como o processo de privatização transformou as estruturas de transporte, especialmente a atividade portuária brasileira, viabilizando o transporte multimodal e obviamente as vantagens dele decorrentes, fez- se necessária a abordagem de temas congruentes, como a logística e também os cenários dos modos de transporte rodoviário, ferroviário e o marítimo (cabotagem). Nesta fase também se analisam os modos de transporte e os respectivos processos de privatização e cenário atual, de suas estruturas e os operadores logísticos, assuntos que contribuem para um melhor entendimento das questões relativas ao Operador de Transporte Multimodal. / [en] Inside of this panorama this study was developed on multimodality. The focus is in the installations and services that compose the system of multimodal transport, with special prominence for the port infrastructure, in the taxes (costs) and the performance of the some involved services. The main objective of the work is to understand as the process of privatization of the transport structures, ports, railroads and highways, it made possible the evolution of Multimodalidade as alternative to the national transport. A relatively new subject, still little explored academically and with scarce bibliographical references. For a well understanding as the privatization process transformed the transport structures, especially the Brazilian port activity, making possible the multimodal transport and obviously the decurrently advantages of the boarding of congruence´s subjects became necessary, as logistic and also the scenes in the ways of road transport, railroad worker and the marine (cabotage). In this phase also the ways of transport and the respective processes of privatization and current scene are analyzed, of its structures and the logistic operators, subjects that contribute for one better agreement of the relative questions the Operator of Multimodal Transport.

[pt] Esta pesquisa consiste em uma investigação sobre os aspectos multimodais do Quadro Branco Interativo (QBI) como ferramenta mediadora no ensino de inglês como língua estrangeira (EILE). Inicialmente, procurou-se utilizar os fundamentos da Teoria da Atividade para contextualizar o artefato tecnológico em questão no plano das atividades docentes, desde o processo de elaboração até a execução das aulas. Os conceitos de mediação, atividade de ensino, conjunto e sistema de gêneros correspondem à base para a sistematização e contextualização, em nível individual ou coletivo, das ações e operações referentes ao ambiente de sala de aula em que o QBI se insere. Conforme o estudo circunscrevia-se às questões de ensino, foi desenvolvido um questionário on-line com o intuito de averiguar as perspectivas de um grupo de docentes pertencentes a uma renomada instituição particular, ícone no EILE, através do uso de ferramentas de última geração, entre elas, o QBI. A finalidade principal consistia no melhor entendimento das atividades docentes mediadas pela tecnologia sob análise, buscando-se elementos facilitadores e/ou delimitadores em todo o processo, contrastando essas experiências paralelamente com outros recursos mais tradicionais, como o quadro negro, quadro branco, transparências e slides. Os resultados obtidos favorecem a utilização do QBI em virtude da multiplicidade de recursos disponíveis. Entretanto, argumenta-se que o mesmo não deve ocupar o lugar central no âmbito das práticas docentes supracitadas. / [en] This research consists of an investigation on the multimodal aspects of the Interactive Whiteboard (IWB) as a mediating tool in the teaching of English as a foreign language (TEFL). Initially, the theoretical background offered by Activity Theory was used with a view to contextualizing the technological artifact in question in the field of teaching activities, from the process of elaborating a lesson to the moment of executing it. The concepts of mediation, teaching activity, set of genres and genre systems constitute the basis for systematizing and contextualizing, whether individually or collectively, the array of actions and operations referring to the classroom environment where the IWB is present. Since the study was delimited to the matter of teaching, an online questionnaire was developed in order to check the perspectives of a group of teachers from a renowned private institution, with excellence in the TEFL through the use of state-of-the-art technologies, which also include the IWB. The main purpose of this questionnaire was to obtain a better understanding of the teaching activities mediated by the IWB, by searching for facilitators or delimiters throughout the process, besides comparing these results with more traditional tools, such as blackboards, whiteboards, transparencies and slides/presentations. The results favor the use of the IWB due to its multiplicity and availability of resources; nevertheless, it is argued that it should not be the main focus in any of the teaching activities mentioned above.

[pt] O presente estudo tem por objetivo a análise de um blog educacional mantido por um professor de curso preparatório de um exame de proficiência em língua inglesa. Os aportes teóricos do estudo têm sua base no conceito de gênero discursivo enquanto ação social recorrente e compartilhada por uma comunidade discursiva (Miller, 1994; Swales, 1990) e também a noção de sistema de gêneros (Bazerman, 2005) construído pelo professor e pelos alunos no blog em questão durante o período de nossa observação. O estudo qualitativo consistiu na definição desse sistema de gêneros e também na investigação de possíveis inclusões no referido blog de gêneros outros que não aqueles comuns em aulas presenciais, por ser o blog um gênero digital e multimediático. Procurou-se também, através da análise de um questionário enviado a nove alunos participantes do blog, verificar a percepção desses alunos quanto ao proveito do uso do blog em questão no que tange ao seu processo de aprendizagem. A análise dos dados mostrou que o sistema de gêneros construído ao longo de nossa observação consistiu basicamente em um sistema bastante similar àquele possivelmente observável em ambiente de sala de aula convencional. Os resultados de nossa análise dos questionários mostraram também que, para a maioria dos alunos, o blog é encarado como proveitoso em termos de aprendizagem conquanto muitos dos alunos não tenham tido uma participação tão efetiva nas atividades propostas pelo professor bloguista. As implicações pedagógicas desta pesquisa remetem à necessidade de se refletir sobre o papel dos novos gêneros digitais no que tange à prática pedagógica dos professores e a contribuição desses gêneros virtuais ao processo ensino e aprendizagem de língua estrangeira nos dias de hoje. / [en] The present study analyzes an educational blog maintained by a teacher in a preparatory course for an English language proficiency examination. The theoretical background of the study centers on the concept of genre as a recurring social action shared by a discourse community (Miller, 1994; Swales, 1990) and also on the notion of a system of genres (Bazerman, 2005). The system under study here emerged during the work of the teacher and the students towards the creation of the blog itself. The qualitative study consisted of, first, the tabulation of the genre system and then the investigation of genres that might be included in the blog, other than those common in classroom settings, considering that the blog is a multimedia digital genre. Through the analysis of a questionnaire sent to nine students participating in the blog, I also sought to check their perceptions as to the advantages of using the blog as far as their learning process was concerned. The data analysis showed that the genre system built during my observation consisted basically of a system that is very similar to one that might be observed in the traditional classroom environment. The results of the analysis of the questionnaires also showed that, for most of the students, blogging is seen as beneficial in terms of their learning although many students did not participate consistently in the activities proposed by the teacher. The pedagogical implications of this research indicate the need to reflect on the role of new digital genres concerning teachers’ pedagogical practice and the possible contribution of these virtual genres in the teaching and learning process for foreign language nowadays.

[pt] Este trabalho analisa o uso da tecnologia de representação visual Power Point por aspirantes de Marinha da Escola Naval do Rio de Janeiro, ao produzir e conduzir apresentações durante as aulas de inglês como língua estrangeira, com o duplo objetivo de investigar como os princípios semióticos operam nos slides e como a experiência contribui para a vivência em sala de aula. Para tanto, o estudo leva em consideração os slides produzidos e a percepção dos aspirantes envolvidos. Três áreas de pesquisa fornecem embasamento teórico para este estudo: multimodalidade, comunidade de prática e qualidade de vida em sala de aula. Estudos sobre os elementos visuais na comunicação (ROSE, 2001; KRESS E VAN LEEUWEN, 1996, 2001; ROYCE, 2002), aliados ao estudo das funções da linguagem propostas pela Linguística Sistêmico-Funcional (HALLIDAY, 1985, 1994) dão subsídio para a análise dos slides. Estudos sobre tipos de comunidade que partilham objetivos, hábitos e atitudes (LAVE E WENGER, 1991; ECKERT E MC CONNELL-GINNET, 1992), associados ao estudo de gêneros híbridos que refletem ideologias e valores e desempenham uma funcionalidade retórica e social (ANSON, DANNELS E ST CLAIR, 2005) direcionam a interpretação das opiniões dos aspirantes. Estudos sobre a complexidade da sala de aula e das relações que aí se estabelecem (ALLWRIGHT, 1991, 2005, 2006; GIEVE E MILLER, 2006) dão suporte para as conclusões quanto ao possível efeito das apresentações nessas relações. Esta pesquisa caracteriza-se como qualitativa, pois a coleta de dados compreende uma série de práticas e atividades interpretativas relacionadas à análise de (1 ) slides em Power Point, (2) textos escritos pelos aspirantes durante discussões em grupo, (3) seus relatos individuais e (4) notas de campo da pesquisadora. Com base nos resultados do estudo, este trabalho (1) propõe um modelo de análise que dá contados diversos elementos existentes nos slides digitais – a Esfera Multimodal; e (2) sugere que a experiência de produzir e conduzir apresentações com o recurso digital possibilita a expressão de idéias e favorece a integração com o grupo. O maior conhecimento sobre a competência genérica multimodal propiciada pelo uso de Power Point em um ambiente educacional pode contribuir para estimular a autonomia dos aprendizes e influenciar positivamente sua participação no processo de ensino-aprendizagem. / [en] This work analyses the use of Power Point as a technology of visual representation by the midshipmen of the Naval Academy of Rio de Janeiro while producing and conducting presentations during the classes of English as a Foreign Language, with the double aim of investigating how semiotic principles operate on the slides and how the experience contributes to life in the classroom. To that effect, the study takes into account the slides produced as well as the perceptions of the midshipmen involved. Three areas of research provide theoretical support for this study: multimodality, community of practice and quality of classroom life. Studies about the visual elements in communication (ROSE, 2001; KRESS AND VAN LEEUWEN, 1996, 2001; ROYCE, 2002), together with the studies of language functions proposed by Systemic-Functional Linguistics (HALLIDAY, 1985, 1994), enable the analysis of the slides. Studies about types of communities whose objectives, habits and attitudes are shared (LAVE AND WENGER, 1991; ECKERT AND MC CONNELL-GINNET, 1992), associated with studies of hybrid genres which reflect ideology and values and accomplish rhetorical and social functionality (ANSON, DANNELS AND ST CLAIR, 2005) direct the interpretation of the midshipmen’s perceptions. Studies about the complexity of classroom life and the relationships which are established in it (ALLWRIGHT, 1991, 2005, 2006; GIEVE AND MILLER, 2006) back up conclusions as to the possible repercussion of the presentations on those relationships. This research is characterized as qualitative, as data collection involves a series of interpretive practices and activities regarding the analysis of (1) Power Point slides, (2) texts produced by the midshipmen while engaged in group discussions, (3) their individual statements and (4) the field notes taken by the researcher. On the basis of the results of the study, this work (1) proposes a model of analysis which encompasses the variety of elements existing in digital slides - the Multimodal Sphere, and (2) suggests that the experience of producing and conducting presentations with the aid of the digital resource makes it possible to express ideas and easier to integrate with the group. A deeper understanding of the multimodal generic competence afforded by the use of Power Point in an educational setting can contribute to encouraging learners’ autonomy and enhancing their participation in the teaching-learning process.

[pt] O texto multimodal é uma realidade no mundo atual, desde a mídia de grande circulação à Internet. O uso de múltiplas modalidades em sala de aula é freqüente, através de recursos como filmes, músicas, e imagens, entre muitos outros. O objetivo deste trabalho é observar o uso de textos multimodais na sala de aula de língua inglesa, assim como na escolha do professor no uso deste ou aquele texto multimodal, de modo que possamos ter uma visão, mesmo que parcial, do papel do texto multimodal no ensino de inglês nesse ambiente, em termos de (1) a visão do professor sobre os objetos de ensino e (2) o texto multimodal em relação aos outros recursos pedagógicos. O trabalho tem duas dimensões que se complementam: a visão teórica sobre a imagem e a visão que tange a pedagogia para o ensino de língua, por uma abordagem multimodal. A perspectiva teórica multimodal do estudo se baseou na teoria da gramática do design visual proposta por Kress e van Leeuwen (1996 e 2001) e em estudos de comunicação visual (Santaella, 2004; Sturken & Cartwright, 2001). A perspectiva multimodal no ensino é pautada pelos trabalhos de Oliveira (2003), Unsworth (2001) e Royce (2002). O estudo discute: (1) o uso das imagens no material didático e a visão das professoras desse uso, e (2) a proposta de levar aprendizes e docentes a se capacitarem a ler textos multimodais, de modo a adquirir a competência comunicativa multimodal. / [en] Multimodal texts have a strong presence in contemporary society, in the mass media and on Internet, for instance. The use of multiple modalities in the language classroom is common, as can be seen in films, songs, images, and many other resources. The purpose of this study is to observe teaching practices with multimodal texts in English language classrooms in order to gain a view of the role of verbal and visual texts in this kind of setting. The focus is on (1) the perception that the teachers have of their choices about what material to use, and (2) their vision of its use multimodal text in relation to teaching resources in general. The theoretical perspective of the study is based on the theory of the grammar of visual design as modeled by Kress and van Leeuwen (1996, 2001). The pedagogical perspective of the study is guided by the work of Unsworth (2001) and Royce (2002), authors that argue for teaching based on a multimodal approach. The study discusses: (1) the use of images in pedadogical material and teacher’s visions of its use, and (2) the notion of making learners and teachers to be able to read multimodal texts, so as to gain multimodal communicative competence.

[pt] Esta dissertação tem como objeto de estudo uma adaptação da peça Hamlet, de William Shakespeare, intitulada srsly Hamlet (falando sério, Hamlet, em tradução livre), de autoria de Courtney Carbone. A proposta da pesquisa é discutir, por meio da análise da adaptação, alguns procedimentos que, usados no processo de reescrita, visam não só manter alguns dos elementos do que se pode chamar de universo shakespeariano, mas também garantir que a peça do Bardo seja apreciada pelo público infantil e juvenil contemporâneo. A obra de Carbone, publicada em 2015 pela Random House Books for Young Readers, é o primeiro título da Série OMG Shakespeare. A série é composta por quatro adaptações de peças de Shakespeare e busca levar a dramaturgia do poeta inglês para os leitores jovens de uma forma lúdica, sendo o seu principal diferencial em relação a outras adaptações voltadas para os jovens a apresentação dos textos no formato de mensagens de WhatsApp. Signos visuais e sonoros se sobrepõem nessas reescritas inovadoras das peças shakespearianas. A partir de uma perspectiva descritivista, este estudo averigua como a natureza multimodal e intermidiática de srsly Hamlet contribui para o processo de construção de sentidos e para a criação de imagens contemporâneas de Shakespeare e de Hamlet. Através da pesquisa das estratégias de adaptação empregadas (linguísticas e culturais), examina-se a influência das expectativas da cultura-alvo na manipulação da trama, da narrativa e da linguagem. Embora a adaptação de Carbone esteja, em princípio, voltada para o mercado literário e público anglo-americanos, espera-se que esta investigação sobre o processo de recriação de uma obra considerada canônica possa (i) contribuir para uma discussão mais ampla sobre os elementos que caracterizam, nos tempos atuais, as reescritas voltadas para a literatura infantil e juvenil impressa; e (ii) trazer novas possibilidades à reflexão sobre como o entrelaçamento entre qualidades intermidiáticas e a narrativa multimodal em uma obra afeta não só a criação de significados, mas também a experiência vivenciada pelos leitores. / [en] The research object of this master s thesis is an adaptation of William Shakespeare s Hamlet entitled srsly Hamlet, written by Courtney Carbone. The purpose of this study is to discuss, through the analysis of the adaptation, some procedures used in the rewriting process that aim not only to retain some elements of what may be called Shakespearean universe, but also to ensure that the Bard s Hamlet will be enjoyed by contemporary juvenile audiences. Carbone s work, published in 2015 under the Random House Books for Young Readers, is the first title of the OMG Shakespeare Series. The series is made up of four adaptations of Shakespeare s plays and aims at bringing the English playwright s work to contemporary young readers in a playful way. One may say that the main gap between OMG books and other written adaptations aimed at youths is the presentation of the text in WhatsApp-message format. Visual and aural signs overlap in these innovative rewritings of the Bard s plays. This research takes a descriptive perspective to go over how the intermedial and multimodal nature of Carbone s srsly Hamlet plays a part in the process of creating meaning and in the shape of contemporary images of Shakespeare and his Hamlet. Also, through the analysis of the adaptation strategies employed (linguistic and cultural), the influence of the target culture s expectations on the manipulation of plot, narrative and language is examined. Although Carbone s srsly Hamlet originally targets Anglo-American literary markets and audiences, this investigation of the process of recreation of a canonical-standing work may hopefully (i) contribute to a broader discussion of what characterizes adaptations directed at print children s literature in contemporary times; and (ii) add new possibilities to the reflections on how the intertwinement of intermedial qualities and multimodal narratives in literary works affects not only the construction of meaning, but also readers experience.

[pt] Os livros didáticos atuais de inglês como língua estrangeira refletem uma característica da sociedade ocidental: a forte presença de imagens. Considerando que as práticas sociais, profissionais e acadêmicas requerem o conhecimento de imagens e a capacidade de produzi-las, é importante entender como o estudo de imagens possa ser integrado no ensino. Autores como Kress e van Leeuwen (2000) e Unsworth (2004) clamam por um maior letramento visual já que a comunicação visual tem se tornado freqüente nos livros didáticos de inglês. Um dos elementos visuais de destaque é a fotografia. As fotografias são imagens de grande versatilidade podendo ser utilizadas tanto na documentação de dados legais, históricos, médicos e científicos, quanto em livro didático de inglês como língua estrangeira. Essa dissertação investiga as funções que as fotografias exercem nas atividades pedagógicas sugeridas pelo livro didático, de que maneira os significados nas fotografias são negociados, e como ocorrem as relações sociais entre o produtor da imagem e observador. Utilizando análise qualitativa, essa pesquisa se apóia na Gramática do Design Visual elaborada por Kress e van Leeuwen (2000) para a análise de imagens, baseada nos aportes teóricos da Gramática Sistêmico-Funcional de Halliday (1994, 2000). A análise mostra que as fotografias ilustram, dão apoio visual às atividades, aproximam alunos e professores do mundo real existente fora da sala de aula, trazem significados para dentro do livro didático. A análise aponta também a importância de mais pesquisas na área da multimodalidade em livros didáticos e no desenvolvimento de novas metodologias de análise visual. / [en] EFL course books reflect a characteristic of contemporary Western society: the strong presence of images. Considering that social, professional and academic practices demand knowledge of images and ability to produce them, it is important to understand how the study of images can become an integral part of language study. Authors such as Kress and van Leeuwen (2000) and Unsworth (2004) argue for the need for visual literacy as visual communication has become more prominent in EFL course books. One of the most evident visual elements is the photograph. Photographs are versatile images that can be used in legal data, in historic, medical and scientific documentation, as well as in EFL course books. This dissertation investigates the functions of photographs in the activities suggested in an EFL course book, the negotiation of meanings in photographs, and the social relations between the producer of the image and the observer. This research uses a qualitative analysis of images following Kress and van Leeuwen`s (2000) The Grammar of Visual Design, which is based on the theory of Systemic Functional Grammar by Halliday (1994, 2000). The analysis of the course book shows that photographs illustrate arguments, bridge the students` and the teacher`s world with the real world outside the classroom, and bring meanings into the course book. It also points out the importance of conducting more research on multimodality in EFL course books and developing new methodologies for visual analysis.

[pt] Esta pesquisa investiga a utilização de filmes como instrumento multimodal de aprendizagem na sala de aula de inglês como língua estrangeira. Para isso, este estudo baseia-se principalmente em pressupostos teóricos relacionados a três abordagens: conhecimento como construção social, a linguagem como fenômeno sócio-semiótico e a multimodalidade no ambiente pedagógico. Após a revisão teórica, especifica-se a metodologia, que está fundamentada num paradigma de pesquisa qualitativa-interpretativista (Erickson, 1986) e utiliza o modelo de análise multimodal proposto por Royce (2002) e o modelo de análise de atividades proposto por Ticks (2005). Em seguida, procede-se aos dados, que incluem cinco segmentos de filmes encontrados no DVD em anexo (na contra capa) e cinco tarefas a eles relacionadas. Ao analisar e discutir esses dados, sob a luz dos pressupostos teóricos que relacionam uma visão de aprendizagem como um processo de construção social, de linguagem enquanto fenômeno sócio-semiótico e de filme como um recurso multimodal, esta pesquisa mostra que os segmentos de filmes e tarefas relacionadas podem ser considerados exemplos de como os modos de representação lingüístico e visual se complementam de forma coordenada e mediam as atividades sociais com as quais os aprendizes se engajam durante o processo de aprendizado, possibilitando a construção do conhecimento da língua inglesa. Isso implica que os filmes usados como recurso multimodal de aprendizagem oferecem oportunidade de fazer com que a nossa prática local de sala de aula esteja aberta para o mundo e seja relevante não somente pelo conteúdo que é ensinado, mas pela possibilidade de se vivenciar experiências de aprendizado de linguagem a partir de uma perspectiva multimodal. Palavras-chave: filmes, multimodalidade, aprendizagem, sala de aula, inglês como língua estrangeira, tarefa, construção social, semiótica social. / [en] This research investigates the use of movies as a multimodal instrument of learning in the EFL classroom. To achieve this objective, this study uses a theoretical framework based on the following: knowledge as social construction, language as a social-semiotic phenomenon and multimodality in the pedagogical context. The method for the study is based on the constructivism paradigm and uses the multimodal analytical framework by Royce (2002) and the task analytical framework by Ticks (2005). The data analysis includes five movie segments on the attached DVD (in pocket on back cover) and five tasks related to them. While analyzing and discussing the data, according to the theoretical framework above, this research shows that the movie segments and tasks related to them may be considered examples of how the linguistic and visual modes of representation complement one another and mediate the social activities with which learners engage throughout the learning process, offering learners the possibility to construct knowledge of the English language. This implies that movies may be used as a multimodal resource to learning, since they give the opportunity to make our local practice in the classroom open to the world and relevant not only for the content that is taught, but for the possibility for learners and teachers to experience language learning through a multimodal perspective.