Submitted by Ricardo Cedraz Duque Moliterno (ricardo.moliterno@uefs.br) on 2018-07-13T23:44:26Z No. of bitstreams: 1 Almeida_Elizabeth_PORTAL_CIBERNAUTAS.pdf: 26761436 bytes, checksum: 6d99ccd0a7a73e530fd674253d4f6de2 (MD5) / Made available in DSpace on 2018-07-13T23:44:26Z (GMT). No. of bitstreams: 1 Almeida_Elizabeth_PORTAL_CIBERNAUTAS.pdf: 26761436 bytes, checksum: 6d99ccd0a7a73e530fd674253d4f6de2 (MD5) Previous issue date: 2018-03-16 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior - CAPES / With the advent of the internet, the hypermedia and multimodal reading/writing are increasingly present in our daily lives. This is a challenge to our pedagogical practice in conducting the experiment student readers and writers, from that digital technology context. These opportunize shares the development of autonomous and critics individuals adequate to the concerns and demands of the society in which they are inserted. In this context, we have developed this research with the goal of promoting didactic-pedagogic actions focused on collaborative writing of infographics, combining the use of the DICT to teaching-learning in Portuguese Language, with a view to enlargement skills student writers of the Tempo Juvenil 04, in the night shift of a school in Feira de Santana, Bahia. Based on the propositions of qualitative research, this intervention research is inserted in the nature applied research through collaborative technical procedure, where we develop didactic sequences focused on practices of reading and writing of multi-modal texts, from the genre infographic, with the support of an online platform, entitled Portal Cibernautas, and a schedule of Activities designed by the teacher-researcher. These actions were based on a multidisciplinary theoretical contribution composed mainly by Kleiman (1995; 2005), Goulart (2006) and Tfouni (2010) introducing the concepts of literacy, in Rojo (2009; 2012) that introduces the proposal of pedagogy of multiliteracy; in L?vy (1999), Xavier (2007; 2011), Tapscott (2010) and Dion?sio (2006), which helped us in understanding the virtual universe, its features and multiple tools; in addition to Mary Kato (1987); Koch and Elias (2010) and Portela (2012) on issues concerning cognitive processes of reading and writing. We use still Dolz; Noverraz; Schneuwly (2004), Costa-H?bes (2009) and Barreiros; Souza (2015) to base the proposal for didactic teaching of the genres and didactic sequences. More specifically in the case of the textual genre, infographic, we are based on Coscarelli (2016), Ribeiro (2016) and Teixeira (2010). Based on these theorists, we develop intervention actions to the new needs of the students, providing theirs expansion of the writing competence. Therefore, bearing in mind that the competence development processes are large, writer, in this research, embrace some aspects of writing and realize, from data observed in this study, to conduct the student to readers and writers practices multimodal text, as the infographic, we contribute to the broadening of skills focused on search and selection of data and information in accordance with its goals of reading and writing, composition of sense to correlate texts verbal and non-verbal, text rewrite the original idea through the use of paraphrase, writing informative texts, production of hipermidi?ticos texts that feature themes of social relevance. In addition, the expansion of autonomy, collaboration, creativity and criticality of the subject facing the wishes and requirements of a technological society. After the application of the proposed intervention, the results shown that the practices of reading/writing of the multimodal and hypermedia texts in Portuguese Language classroom, together with DICT, bring to supportive role in the process of construction and expansion of knowledge geared to writing abilities. / Com advento da internet, a leitura/escrita multimodal e hipermidi?tica encontra-se cada vez mais presente em nosso cotidiano, o que desafia a nossa pr?tica pedag?gica em conduzirmos o estudante para experi?ncias leitoras e escritoras a partir desse contexto tecnol?gico digital. Estas a??es oportunizariam o desenvolvimento de indiv?duos aut?nomos, cr?ticos, voltados aos anseios e exig?ncias da sociedade em que est?o inseridos. Nesse contexto, desenvolvemos a presente pesquisa com o objetivo de desenvolver a??es did?tico-pedag?gicas voltadas para a escrita colaborativa de infogr?ficos digitais, aliando o uso das TDIC ao ensino-aprendizado em L?ngua Portuguesa, com vistas ? amplia??o das compet?ncias escritoras de estudantes do Tempo Formativo Juvenil 04, do turno noturno de uma escola da Rede Estadual do munic?pio de Feira de Santana, Bahia. Esta pesquisa interven??o encontra-se inserida no campo das pesquisas de natureza aplicada, onde desenvolvemos sequ?ncias did?ticas voltadas para pr?ticas de leitura e escrita de textos multimodais, a partir do g?nero textual infogr?fico, com o apoio de uma plataforma online, intitulada Portal Cibernautas, e de um Caderno de Atividades, criados pela professora-pesquisadora. Estas a??es foram pautadas em um aporte te?rico multidisciplinar composto principalmente por Kleiman (1995; 2005), Goulart (2006) e Tfouni (2010), ao apresentarmos os conceitos de letramento(s); Rojo (2009; 2012) ao trazermos a proposta da pedagogia dos multiletramentos; L?vy (1999), Xavier (2007; 2011), Tapscott (2010) e Dion?sio (2006), os quais nos auxiliaram na compreens?o do universo virtual, suas caracter?sticas e m?ltiplas ferramentas; al?m de Mary Kato (1987); Koch e Elias (2010) e Portela (2012) ao abordarmos quest?es relativas aos processos cognitivos de leitura e escrita. Contamos ainda com Dolz; Noverraz; Schneuwly (2004), Costa-H?bes (2009) e Barreiros; Souza (2015) ao embasarmos a proposta de didatiza??o de g?neros e modelo de sequ?ncias did?ticas. Mais especificamente em se tratando do g?nero infogr?fico, nos baseamos em Coscarelli (2016), Ribeiro (2016) e Teixeira (2010). Com base neste lastro te?rico, desenvolvemos a??es de interven??o voltadas para as novas necessidades dos alunos participantes do estudo, oportunizando a amplia??o das suas compet?ncias escritoras. Assim, tendo em mente que os processos de desenvolvimento da compet?ncia escritora s?o amplos, buscamos, nesta pesquisa, abarcar alguns aspectos relacionados ? escrita e percebemos, a partir dos dados observados neste estudo, que ao conduzirmos o estudante para pr?ticas leitoras e escritoras de texto multimodais, como o infogr?fico, contribu?mos com a amplia??o de compet?ncias voltadas ? busca e sele??o de dados e informa??es de acordo com seus objetivos de leitura e escrita, composi??o de sentido ao correlacionar textos verbais e n?o verbais, reescrita de textos mantendo-se a ideia original atrav?s do recurso da par?frase, escrita de textos informativos e produ??o de textos hipermidi?ticos que apresentam temas de relev?ncia social. Al?m disso, percebemos a amplia??o da autonomia, colabora??o, criatividade e criticidade dos sujeitos voltados aos anseios e exig?ncias de uma sociedade tecnol?gica digital. A partir dos resultados apresentados ap?s a aplica??o da proposta de interven??o, percebemos que as pr?ticas de leitura/escrita de textos multimodais e hipermidi?ticos em sala de aula de L?ngua Portuguesa, aliadas ?s TDIC, desempenharam um papel auxiliador no processo de constru??o do conhecimento e amplia??o dos saberes voltados ?s capacidades de escrita dos alunos.

As características da conclamada identidade norte-americana transfiguraramse após os ataques terroristas de 11 de setembro de 2001 nos Estados Unidos. As construções identitárias ressaltam o nacionalismo e as virtudes do povo estadunidense em oposição às de um Outro imaginado como perigoso e infiel. A profusão na mídia de notícias de ataques terroristas por toda parte faz com que a violência adquira uma aura onipresente, em especial, no horizonte das grandes cidades. Essas narrativas também produzem preconceito e medo que são representados em filmes como Crash - no limite. Diferentes articulações estéticas funcionam como estratégias na construção fílmica que traduz um país abalado e que necessita (re)constituir e (re)afirmar-se para, então, (des)construir e restabelecer narrativas e identidades. Neste sentido, nosso trabalho objetiva semear novos olhares sobre as narrativas que são enunciadas pelos norte-americanos após os eventos de 11 de setembro de 2001, ao invés de assentar verdades ou realidades de forma tácita, uma vez que as identidades estão atreladas ao contexto de sua produção. O panorama muda de acordo com as contingências que o sujeito, pertencente a várias comunidades simultaneamente, vivencia ao longo de sua história. Seja esta representação alegórica ou documental, posto que o diretor também se baseie em fatos reais do seu cotidiano para lançar-se na ficção, o projeto justifica-se pela tentativa de esboçar uma significação de pertencimento, levando-se em conta o loci de enunciação dos interlocutores. Logo, procuramos imprimir uma tradução de Crash como representação dessa teia de significados, na qual é possível estabelecer a interconexão entre identidade, medo, preconceito, violência e reflexão crítica. / The so-urged American identity has changed since September 11, 2001 in the United States. Constructions of identity emphasize the virtues and the nationalism of the American people, as opposed to an Other imagined as dangerous and disloyal. The profusion of news of terrorist attacks in the media everywhere makes that violence acquire a ubiquitous aura, especially in the horizon of big cities. These narratives also produce prejudice and fear represented in films like Crash. Different aesthetic joints function as strategies in building a film that translates an upset country and that needs to (re)build and (re)affirm itself, and then (de)construct and (re)constitute their narratives and identities. In this sense, this work aims to sow new perspectives on the narratives that are enunciated by the Americans after September 11th, instead of stating truths or realities tacitly. After all, concepts such as identity are tied to its production environment. The picture changes according to the contingencies that the subject, belonging to several communities simultaneously, experiences throughout his history. Whether it is an allegorical or a documentary representation, since the director has also based the story on real facts of his everyday life to embark on fiction, the project is justified by the attempt to establish a sense of belonging, taking into account the interlocutors´ loci of enunciation. Thus, we tried to print a translation of Crash as a representation of this web of meaning, in which it is possible to establish the interconnection between identity, fear, prejudice, violence and critical reflection.

Os processos de representação do conhecimento químico permeiam os mais diversos processos de ensino, aprendizagem e construção acadêmica da Química. Assim, nas múltiplas formas de se representarem fenômenos e nos mais diversos modos de se expressar sobre eles, foram caracterizadas diferentes mídias escritas, visuais e audiovisuais produzidas por alunos em uma sequência didática sobre o tema Transformações. As categorias que emergiram da análise dos materiais foram inspiradas na Gramática do Design Visual (GDV) proposta por Gunther Kress e Theo van Leeuwen e pela perspectiva da Semiótica Social de Michael Halliday. Assim, adota-se no trabalho o enfoque da abordagem multimodal da comunicação, segundo o qual diversos modos orquestrados (textos, imagens, gestos, sons e outros) potencializam a carga de significados de uma representação. Neste sentido, as análises desta Dissertação confirmam que as representações são mais informativas quando os diversos modos se complementam em objetos audiovisuais, propiciando características dinâmicas e conceituais mais amplas do que aquelas possíveis nas expressões escritas e em imagens estáticas. Na perspectiva do ensino de Química, os resultados deste trabalho permitem concluir que as abordagens multimodais, ao facilitarem a expressão das representações mentais dos alunos, podem ter grande importância para a ressignificação de múltiplos aspectos associados a elas e para incentivar a discussão coletiva das ideias, contribuindo para a melhoria da aprendizagem nesse campo do conhecimento. / Representation of the chemical knowledge underlies the processes of teaching and learning Chemistry as well as its development and communication. There are multiple forms of representing the chemical phenomena in the most diverse ways: written texts, visual and audiovisual media, drawings. In the present work, we developed a Teaching/Learning Sequence to High School students concerning Transformations in a multimodal approach. The analysis of the material produced by the students was done on the grounds of the Grammar of Visual Design (GDV) proposed by Gunther Kress and Theo van Leeuwen and in the perspective of Social Semiotics. The categories that emerged from this analysis indicate that the multimodal approach facilitates the communication of the students because orchestrated modes of expression (texts, images, gestures, sounds and others) potentiate the meanings of a representation. In this sense, the results of this Dissertation confirm that the representations are more informative when the diverse modes complement each other in audiovisual objects, providing broader conceptual and dynamic characteristics than those possible in written expressions or in still images. From the perspective of teaching chemistry, the results of the multimodal approach implemented during this graduate work show that it is advantageous, by facilitating the expression of students´ mental representation. This aspect is essential for the re-signification of multiple elements associated with the representations as promotes the discussion of ideas, contributing to the improvement of learning in this field of knowledge.

Esta tese tem por objetivo investigar o uso pedagógico da imagem nos livros didáticos de Francês Língua Estrangeira (FLE) e sua possível transformação nas últimas décadas. É fato que o suporte visual ocupa uma posição de destaque na sociedade contemporânea e que vivemos em uma civilização da imagem. Pesquisadores como Kress & van Leeuwen (2001, 2006), Dondis (2007) e Joly (2007) nos mostram que a imagem possui uma linguagem que deve ser estudada, lida e analisada com ferramentas que lhe sejam próprias, tanto quanto a linguagem verbal. No entanto, seja na sociedade em geral ou, mais particularmente, na esfera educacional, não somos preparados para essa tarefa. Na área do ensino-aprendizagem de uma língua materna ou estrangeira, a leitura da imagem se faz, sobretudo, por meio do livro didático, um suporte que mantém sua legitimidade como meio principal na transmissão de conteúdos oficiais por uma instituição (CORACINI, 1999). Ora, nas últimas décadas a presença da imagem nos livros didáticos de FLE parece ter aumentado e se desenvolvido em uma progressão bem mais intensa do que as propostas para sua exploração pedagógica. Nesta pesquisa, buscamos verificar essa hipótese por meio de uma análise da presença da imagem em livros didáticos de FLE publicados nas últimas décadas e também das preconizações que essas mesmas publicações fornecem ao professor para o uso do suporte visual. Utilizamos como base teórica a noção de multimodalidade e a Gramática do Design Visual desenvolvidas por Kress & van Leeuwen (2001, 2006). Em uma segunda etapa da análise, definimos funções previstas e funções possíveis para o uso da imagem e do texto multimodal em uma aula de FLE. Dedicamo-nos também ouvir a voz do professor por meio da aplicação de um questionário, com o intuito de compreender suas facilidades e dificuldades ao seguir as orientações fornecidas pelo livro didático e também as adaptações realizadas em sua prática docente no processo de transformação de um artefato em um instrumento (RABARDEL, 2003). Concluímos esta tese indicando possibilidades para a exploração da imagem e do texto multimodal capazes de contribuir para um ensinoaprendizagem do FLE mais reflexivo e produtivo. / The objective of this thesis is to explore the pedagogical use of image in French as a Foreign Language (FFL) textbooks and how this use may have been transformed during the last decades. It is a fact that visual aids have a meaningful position in contemporary society and that we live in a civilization of images. Researchers such as Kress & van Leeuwen (2001, 2006), Dondis (2007) and Joly (2007) show us that the image has a distinct language that must be studied, read and analyzed by means of appropriate tools, in the same manner as the verbal language. Nevertheless, considering society in general or, more specifically, the educational sphere, we are not prepared for this task. In the field of teaching-learning of a mother or foreign tongue, the reading of the image is achieved mainly through textbooks, the medium which holds its legitimacy as main carrier of official content by an institution (CORACINI, 1999). In recent decades, however, the presence of images in FFL textbooks seems to have increased and developed in a progression much more intense than that of the proposals for their pedagogical consideration. In this survey, we seek to confirm this hypothesis though an analysis of the occurrence of images in FFL textbooks published in the last decades along with the recommendations for the use of visual aids the same publishers provide for the teachers. Our theory is based on the notion of multimodality and the Grammar of Visual Design developed by Kress & van Leeuwen (2001, 2006). In a second stage of the analysis, we define the predictable functions and possible functions for the use of images and the multimodal texts in a FFL classroom. We also commit ourselves to listen to the voice of the teacher by administering a questionnaire that aims to help us understand the benefits and difficulties of following the instructions provided by the textbook and what the teacher has adapted during the process of transforming an artifact into an instrument (RABARDEL, 2003). We conclude this thesis by presenting possibilities for exploring images and multimodal texts that will contribute to a more reflective and productive FFL teaching-learning.

Made available in DSpace on 2015-02-04T21:38:52Z (GMT). No. of bitstreams: 1 washingtonluizpereirasoares.pdf: 3570054 bytes, checksum: fbef250ccbd05106267a8dca84156af3 (MD5) Previous issue date: 2010-08-19 / Esta dissertação examina o conceito de Modal Shift na gestão de negócios prestados em serviços logísticos com a atividade de um operador de transporte multimodal. O eixo epistemológico é o conceito de Modal Shift que é o estudo inserido em escolha das características dos modais de transporte, com relação aos fatores de emissões de gases do efeito estufa (GHG). No que tange a metodologia, a pesquisa estudo de caso exploratório, revela os dados funcionais do Modal Shift por meio dos serviços da empresa ITRI Rodoferrovia e Serviços Ltda., na atividade de OTM - Operador de Transporte Multimodal. Os métodos de coleta de dados utilizados foram: pesquisas bibliográficas, entrevistas, observação dos modelos de programas de transporte públicos e privados, relatórios corporativos e documentos extraídos diretamente da empresa investigada. As construções teóricas do conceito de Modal Shift sobre a questão das emissões e da influência dos modos são verificadas com a revisão da literatura por: Rodrigue, J. P.; Comtois, C.; Slack, B. (1999); Bravo, M. L. (2000); Ruesch, M.; Rapp, A.G.I.; Zurich, P. (2001); Geerts, J. F. (2002); Ogawa, K. (2004); Bontekoning, Y.M.; Macharis, C.; Trip, J.J. (2004); Bloemhof, J.; Van Nunen, J. (2005); Okano, H. (2006); Blauwens, G.; Vandaele, D.N.; Voorde, E.C.; Vernimmen, B.; Witlox, F. (2006); Akabane, G.K. (2009). A pesquisa de campo ocorreu no Porto de Santos na observação de modelos de Modal Shift para explorar a ferrovia na gestão de transporte de contêineres, por remoção aduaneira de carga, do Município de Santos SP para o Município de Suzano SP, em direção ao CRAGEA - Companhia Regional de Armazéns Gerais e Entreposto Aduaneiro. O método de difusão da visão de sustentabilidade da empresa é o Balanced Scorecard (BSC) que possibilita expor a visão estratégica da multimodalidade aos colaboradores e stakeholders, a partir de indicadores específicos, para gestão e controle do impacto ambiental, na participação do setor privado por serviços públicos em transporte de cargas. O método de cálculo de emissões estipulado no Greenhouse Gas Protocol publicado pelo World Business Council for Sustainable Development (WBCSD), foi utilizado neste estudo de caso como um parâmetro técnico para calcular as emissões de GHG, com base em fatores de emissões específicos de cada modal, a partir de dados da ITRI. O resultado quantitativo de CO2 foi obtido considerando-se a movimentação de 500 (quinhentas) toneladas, movimentadas em contêineres, em ambas as modalidades investigadas. Para análise, verificou-se a ecoeficiência das modalidades na distância de 140 km no sistema unimodal combinado Rota A ([100 km] por ferrovia) adicionando a Rota B ([40 km] por ferrovia), que obteve o montante de emissões em apenas 2,04 t de CO2. No sistema unimodal combinado Rota A ([100 km] por rodovia) adicionando a Rota B ([40 km] por rodovia) as emissões acumuladas totalizaram 183,6 t de CO2. Finalmente, na multimodalidade foi considerado o uso da ferrovia, para a maior parte do percurso (100 km) e o modal rodoviário em 40 km para a distribuição física para minimizar o nível de emissões que atingiu o montante de 53,4 t de CO2. Concluiu-se, que, no transporte multimodal, os modelos de Modal Shift podem ser mais eco-eficientes à medida que se minimize o consumo de energia e obtenha-se maior produtividade por modal, para uma matriz de transporte mais sustentável no transporte de cargas.

Submitted by Filipe dos Santos (fsantos@pucsp.br) on 2016-12-02T13:42:46Z No. of bitstreams: 1 Eliane Alves de Sousa.pdf: 1490027 bytes, checksum: a27ab166d66a997aa6c233acf3699f1b (MD5) / Made available in DSpace on 2016-12-02T13:42:46Z (GMT). No. of bitstreams: 1 Eliane Alves de Sousa.pdf: 1490027 bytes, checksum: a27ab166d66a997aa6c233acf3699f1b (MD5) Previous issue date: 2016-10-18 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / Linguistic studies, due to the advent of interactive digital media and the increasing use of technology in communication, currently involve texts with meanings expressed through complex, dense and multimodal ways. For example, there is, as a result, a close interrelation between some areas of knowledge, which have their own criteria to judge a piece of information as useful and effective. This fact is known as "speech interference" with different requirements coming from each domain. The objective of this doctoral dissertation is a critical examination of the interference of speech in multimodal texts, about issues about obesity, to see how different domains of knowledge - science, news media and food company - have been manifested on the subject and to examine the persuasive elements that recur in their positions. The research should answer the following questions: (a) with reference to the issue of obesity, what are the persuasive resources employed by these domains? and (b) what role does the language-image-color relationship have in this process? In accordance with many studies on multimodal studies, I also use for my analysis the sociosemiotic systemic-functional theory, known as Systemic Functional Linguistics. The theory holds the notion of Appraisal - the author's view on the message content, and on the interlocutor, and has been indicated by many researchers for critical discourse analysis. The results show the persuasion strategies present in the construction of the multimodal text, which can contribute to the development of a critical awareness concerning my high school students at the State Public System / Os estudos linguísticos, devido ao advento da mídia digital interativa e ao crescente uso da tecnologia na comunicação, envolvem atualmente textos com significados expressos por meio de formas complexas, densas e multimodais. Há, assim, por exemplo, uma interrelação estreita entre alguns domínios de conhecimento, que têm seus próprios critérios para julgar uma informação como útil e efetiva. Esse fato foi chamado de "interferência de discursos", com requisitos diferentes vindos de cada domínio. O objetivo desta tese é o exame, de cunho crítico, da interferência de discursos, em texto multimodal, nas questões que cercam a obesidade, para verificar como diferentes domínios do conhecimento – ciência, mídia jornalística e empresa de alimentos – têm-se manifestado sobre o assunto e os elementos persuasivos a que recorrem em seus posicionamentos. A pesquisa deve responder às seguintes perguntas: (a) com referência à questão da obesidade, quais são os recursos persuasivos empregados por esses domínios?; e (b) que papel tem a relação língua-imagem-cor nesse processo? Em conformidade com muitas pesquisas realizadas nos estudos multimodais, adoto também para minhas análises a teoria sistêmico-funcional da sociossemiótica, conhecida como Linguística Sistêmico-Funcional. A teoria abriga em seu bojo a noção de avaliatividade - o posicionamento do autor sobre o conteúdo da mensagem, bem como sobre o interlocutor, e tem sido indicada por vários pesquisadores para a análise do discurso crítica. Os resultados mostram as estratégias de persuasão presentes na construção do texto multimodal, que podem contribuir para o desenvolvimento da consciência crítica dos meus alunos do Ensino Médio da Rede Pública do Estado

[pt] Esta tese possui como objetivo investigar o mapeamento entre o conteúdo de sentenças e aquele apresentado em gráficos no processo de compreensão multimodal. Assume-se uma abordagem experimental, baseada nos aportes teórico-metodológicos da Psicologia Cognitiva e da Psicolinguística, aliada a discussões pertinentes à área de Educação Matemática e aos estudos sobre multimodalidade e letramento. Consideram-se duas propostas acerca da integração entre informação linguística e visual: uma vinculada à hipótese de modularidade representacional de Jackendoff (1996), em que se defende a ideia de módulos de interface, de natureza híbrida, e uma proposta alternativa, assumida no presente trabalho, segundo a qual tanto o processamento linguístico como o visual gerariam representações de natureza abstrata/proposicional, que seriam integradas em uma interface conceitual. Buscou-se verificar (i) se fatores top-down como conhecimento prévio do assunto afetam essa integração e (ii) em que medida informação linguística instaura expectativas acerca da informação expressa no gráfico. Foram conduzidos dois experimentos de comparação sentença-figura com gráficos de coluna e de linha, utilizando o programa psyscope, e um envolvendo gráficos de linha com a técnica de rastreamento ocular. Não foram encontradas evidências de efeitos top-down no experimento com gráfico de colunas. Foram obtidos, contudo, efeitos significativos para tempo de resposta associados a outros fatores, quais sejam correção do gráfico, expressão lexical usada para comparar itens do gráfico (maior vs menor, p. ex.) e número de itens referidos na sentença a serem localizados no gráfico. Nos dois experimentos com gráficos de linha, as variáveis independentes foram (i) congruência (linha congruente/incongruente em relação ao verbo – exemplo: linha inclinada para cima ou para baixo vs. verbo subir) e (ii) correção do gráfico em expressar o conteúdo da frase, manipulada com alterações na linha e na ordenação (ascendente/descendente) de informação temporal no eixo x. No experimento com psyscope, os resultados indicaram não haver dificuldade de julgar a compatibilidade frase/gráfico quando congruência e correção não divergiam. Para tempo de resposta, houve efeito principal de congruência e correção, com menores tempos associados, respectivamente, às condições em que a linha era congruente com o verbo e o gráfico correto. Também houve efeito de interação entre as variáveis. No experimento com rastreador ocular, foram analisados índice de acertos, número e tempo total de duração das fixações e trajetória do olhar nas áreas de interesse demarcadas. Em relação a índice de acerto, assim como no experimento com psycope, maior dificuldade de processamento estava associada à condição incongruente correta, em que há quebra de expectativa em relação à posição da linha (vs. verbo) e ao modo usual de organização dos gráficos no eixo x. Quanto aos movimentos oculares, na área do gráfico, observou-se maior número e tempo total de duração das fixações nas condições corretas; na área da frase, tais condições apresentaram resultados opostos. Quanto à trajetória do olhar, os dados sugerem ser a informação linguística acessada em primeiro lugar, orientando a leitura do gráfico. Considerando os resultados em conjunto, pode-se afirmar que o custo de integração é determinado pela compatibilidade (ou não) entre as proposições geradas pelos módulos linguístico e visual. / [en] This thesis aims at investigating the mapping between the sentential content and the content presented in graphs in a multimodal comprehension process. We assume an experimental approach, based on Cognitive Pyschology and Psycholinguistics methodological and theoretical contributions as well as literacy and multimodality studies. Two proposals concerning the integration between linguistic and visual information are considered: one linked to Jackendoff s (1996) representational modularity hypothesis, in which, the idea of interface modules, of hybrid nature, is defended; and an alternative one according to which linguistic and visual processing could generate propositional/abstract representations which could be integrated into a conceptual interface. We tried to check (i) if top-down aspects such as prior knowledge can affect this integration and (ii) in what extent linguistic information may bring expectations about the information expressed in the graph. Sentence-picture comparison experiments were conducted with line and columns graphs using the pyscope software, and another one concerning line graphs with eye tracking technique. Top-down effects were not found in columns graphs experiment. However, significant effects related to response time associated with other aspects such as graph accuracy, lexical expression used in order to compare graph elements (larger x smaller, for example) and the number of elements in the sentence that must be found in the graph. In both experiments with line graphs, the independent variables were (i) congruency (congruent/incongruent line in relation to the verb - line up or down vs verb increase) and (ii) accuracy of the graph in order to express the content of the sentence, manipulated with changes in the line and time information order (ascendant/descendent) in x axis. In psyscope experiment, there was no difficulty in judging the sentence-picture compatibility when congruency and correction were not different. Concerning the response time, there was effect of congruency and correction, with shorter times associated, respectively, to the conditions in which line was congruent to the verb and correct graph. There was also effect of interaction. In eye tracking experiment, accuracy rates, number of fixations, total fixation duration and the scanpath in areas of interest were analysed. In relation to accuracy rates, similar to psyscope experiment, more difficulty in processing was associated to incongruent/incorrect condition, in which there is a break in the expectation related to the line position (vs.verb) and the common organization of the elements displayed in x axis. Concerning eye movements, in the graph area, number of fixations and total fixation duration were higher in correct conditions; in the sentence area, these results were opposite. Analyzing the scanpath, data suggest that linguistic information is accessed first, guiding the graph reading. To conclude, it s possible to state that the cost of integration is determined by compatibility (or not) between the propositions from both linguistic and visual modules.

Os processos de representação do conhecimento químico permeiam os mais diversos processos de ensino, aprendizagem e construção acadêmica da Química. Assim, nas múltiplas formas de se representarem fenômenos e nos mais diversos modos de se expressar sobre eles, foram caracterizadas diferentes mídias escritas, visuais e audiovisuais produzidas por alunos em uma sequência didática sobre o tema Transformações. As categorias que emergiram da análise dos materiais foram inspiradas na Gramática do Design Visual (GDV) proposta por Gunther Kress e Theo van Leeuwen e pela perspectiva da Semiótica Social de Michael Halliday. Assim, adota-se no trabalho o enfoque da abordagem multimodal da comunicação, segundo o qual diversos modos orquestrados (textos, imagens, gestos, sons e outros) potencializam a carga de significados de uma representação. Neste sentido, as análises desta Dissertação confirmam que as representações são mais informativas quando os diversos modos se complementam em objetos audiovisuais, propiciando características dinâmicas e conceituais mais amplas do que aquelas possíveis nas expressões escritas e em imagens estáticas. Na perspectiva do ensino de Química, os resultados deste trabalho permitem concluir que as abordagens multimodais, ao facilitarem a expressão das representações mentais dos alunos, podem ter grande importância para a ressignificação de múltiplos aspectos associados a elas e para incentivar a discussão coletiva das ideias, contribuindo para a melhoria da aprendizagem nesse campo do conhecimento. / Representation of the chemical knowledge underlies the processes of teaching and learning Chemistry as well as its development and communication. There are multiple forms of representing the chemical phenomena in the most diverse ways: written texts, visual and audiovisual media, drawings. In the present work, we developed a Teaching/Learning Sequence to High School students concerning Transformations in a multimodal approach. The analysis of the material produced by the students was done on the grounds of the Grammar of Visual Design (GDV) proposed by Gunther Kress and Theo van Leeuwen and in the perspective of Social Semiotics. The categories that emerged from this analysis indicate that the multimodal approach facilitates the communication of the students because orchestrated modes of expression (texts, images, gestures, sounds and others) potentiate the meanings of a representation. In this sense, the results of this Dissertation confirm that the representations are more informative when the diverse modes complement each other in audiovisual objects, providing broader conceptual and dynamic characteristics than those possible in written expressions or in still images. From the perspective of teaching chemistry, the results of the multimodal approach implemented during this graduate work show that it is advantageous, by facilitating the expression of students´ mental representation. This aspect is essential for the re-signification of multiple elements associated with the representations as promotes the discussion of ideas, contributing to the improvement of learning in this field of knowledge.

CoordenaÃÃo de AperfeiÃoamento de Pessoal de NÃvel Superior / FundaÃÃo Cearense de Apoio ao Desenvolvimento Cientifico e TecnolÃgico / Este trabalho tem o objetivo geral de descrever os gÃneros multimodais animados (GEMUA), considerando seus aspectos enunciativos e sua natureza multimodal. A pesquisa caracteriza-se epistemologicamente como interpretativa, de base empÃrica e de carÃter indutivo no sentido lato do termo. Ã luz dos pressupostos de Bakhtin (2006, 2003, 2002) sobre a relaÃÃo sujeito e linguagem e gÃneros discursivos, dos estudos sobre multimodalidade de Kress & van Leeuwen (1996), Kress (2010) e das discussÃes teÃricas acerca dos elementos nÃo-linguÃsticos na comunicaÃÃo humana de Fiorillo e Torres (2003), Cestero (1999), Poyatos (1994), Davis (2009), Albaladejo (2007) e Marcushi (1986), esta pesquisa se concentra em buscar respostas para a seguinte problemÃtica: como se caracterizam os gÃneros multimodais animados? O estudo do corpus, gÃneros multimodais animados, mostrou que ele apresenta dois possÃveis caminhos de observaÃÃo: o eixo da composiÃÃo e o eixo do funcionamento. A tese concentra a anÃlise no eixo da composiÃÃo, cujos dados mostraram que os GEMUA precisam ser analisados partindo de aspectos (i) linguÃsticos, (ii) sonoros, (iii) proxÃmicos, (iv) cinÃsicos e (v) imagÃticos. A maneira encontrada para operacionalizar os parÃmetros de observaÃÃo foi elaborar um fichamento analÃtico e submeter cada uma das 150 amostras do corpus discretizando cada aspecto composicional. A anÃlise mostrou que os GEMUA sÃo gÃneros que apresentam composiÃÃo altamente dinÃmica e plÃstica, alÃm de indicar a rica potencialidade desses gÃneros em mÃltiplos contextos sÃcio-discursivos.

O objetivo desta dissertação é analisar o processo de visualidade, quando da leitura de textos multimodais publicados em jornais brasileiros. A hipótese de nosso trabalho é que, contrário à maneira tradicional de abordar a imagem como documento, isto é, com seu significado estático e inerente a ela, acreditamos que a imagem é uma construção sócio histórica, carregando traços de seu contexto de produção; como tal a leitura e a interpretação dessa imagem serão influenciadas pelo contexto sócio histórico no qual se inserem seus intérpretes/produtores. O trabalho consistiu na contraposição entre análises de imagens jornalísticas e conceitos da Semiótica, Análise de Discurso, Antropologia Visual e Comunicação Visual. / The objective of this dissertation is to analyze visual multimodal texts published in Brazilian newspapers. The hypothesis is that, contrary to the traditional approach to the image as a document with a fixed static and inherent meaning, we believe that the image is a socio historic construction carrying traces of its context of production; as such the reading and interpretation of the image is influenced by the socio-historic context to which its interpreters/producers belong. Our methodology consisted of counterposing the analysis of journalistic images and concepts from Semiotics, Discourse Analysis, Visual Anthropology and Visual Communications.