1 |
[en] INTEGRATION OF LINGUISTIC AND GRAPHIC INFORMATION IN MULTIMODAL COMPREHENSION OF STATISTICAL GRAPHS: A PSYCHOLINGUISTIC ASSESSMENT / [pt] INTEGRAÇÃO DE INFORMAÇÃO LINGUÍSTICA E GRÁFICA NA COMPREENSÃO MULTIMODAL DE GRÁFICOS ESTATÍSTICOS: UMA AVALIAÇÃO PSICOLINGUÍSTICALUANE DA COSTA PINTO LINS FRAGOSO 21 December 2015 (has links)
[pt] Esta tese possui como objetivo investigar o mapeamento entre o conteúdo de sentenças e aquele apresentado em gráficos no processo de compreensão multimodal. Assume-se uma abordagem experimental, baseada nos aportes teórico-metodológicos da Psicologia Cognitiva e da Psicolinguística, aliada a discussões pertinentes à área de Educação Matemática e aos estudos sobre multimodalidade e letramento. Consideram-se duas propostas acerca da integração entre informação linguística e visual: uma vinculada à hipótese de modularidade representacional de Jackendoff (1996), em que se defende a ideia de módulos de interface, de natureza híbrida, e uma proposta alternativa, assumida no presente trabalho, segundo a qual tanto o processamento linguístico como o visual gerariam representações de natureza abstrata/proposicional, que seriam integradas em uma interface conceitual. Buscou-se verificar (i) se fatores top-down como conhecimento prévio do assunto afetam essa integração e (ii) em que medida informação linguística instaura expectativas acerca da informação expressa no gráfico. Foram conduzidos dois experimentos de comparação sentença-figura com gráficos de coluna e de linha, utilizando o programa psyscope, e um envolvendo gráficos de linha com a técnica de rastreamento ocular. Não foram encontradas evidências de efeitos top-down no experimento com gráfico de colunas. Foram obtidos, contudo, efeitos significativos para tempo de resposta associados a outros fatores, quais sejam correção do gráfico, expressão lexical usada para comparar itens do gráfico (maior vs menor, p. ex.) e número de itens referidos na sentença a serem localizados no gráfico. Nos dois experimentos com gráficos de linha, as variáveis independentes foram (i) congruência (linha congruente/incongruente em relação ao verbo – exemplo: linha inclinada para cima ou para baixo vs. verbo subir) e (ii) correção do gráfico em expressar o conteúdo da frase, manipulada com alterações na linha e na ordenação (ascendente/descendente) de informação temporal no eixo x. No experimento com psyscope, os resultados indicaram não haver dificuldade de julgar a compatibilidade frase/gráfico quando congruência e correção não divergiam. Para tempo de resposta, houve efeito principal de congruência e correção, com menores tempos associados, respectivamente, às condições em que a linha era congruente com o verbo e o gráfico correto. Também houve efeito de interação entre as variáveis. No experimento com rastreador ocular, foram analisados índice de acertos, número e tempo total de duração das fixações e trajetória do olhar nas áreas de interesse demarcadas. Em relação a índice de acerto, assim como no experimento com psycope, maior dificuldade de processamento estava associada à condição incongruente correta, em que há quebra de expectativa em relação à posição da linha (vs. verbo) e ao modo usual de organização dos gráficos no eixo x. Quanto aos movimentos oculares, na área do gráfico, observou-se maior número e tempo total de duração das fixações nas condições corretas; na área da frase, tais condições apresentaram resultados opostos. Quanto à trajetória do olhar, os dados sugerem ser a informação linguística acessada em primeiro lugar, orientando a leitura do gráfico. Considerando os resultados em conjunto, pode-se afirmar que o custo de integração é determinado pela compatibilidade (ou não) entre as proposições geradas pelos módulos linguístico e visual. / [en] This thesis aims at investigating the mapping between the sentential content and the content presented in graphs in a multimodal comprehension process. We assume an experimental approach, based on Cognitive Pyschology and Psycholinguistics methodological and theoretical contributions as well as literacy and multimodality studies. Two proposals concerning the integration between linguistic and visual information are considered: one linked to Jackendoff s (1996) representational modularity hypothesis, in which, the idea of interface modules, of hybrid nature, is defended; and an alternative one according to which linguistic and visual processing could generate propositional/abstract representations which could be integrated into a conceptual interface. We tried to check (i) if top-down aspects such as prior knowledge can affect this integration and (ii) in what extent linguistic information may bring expectations about the information expressed in the graph. Sentence-picture comparison experiments were conducted with line and columns graphs using the pyscope software, and another one concerning line graphs with eye tracking technique. Top-down effects were not found in columns graphs experiment. However, significant effects related to response time associated with other aspects such as graph accuracy, lexical expression used in order to compare graph elements (larger x smaller, for example) and the number of elements in the sentence that must be found in the graph. In both experiments with line graphs, the independent variables were (i) congruency (congruent/incongruent line in relation to the verb - line up or down vs verb increase) and (ii) accuracy of the graph in order to express the content of the sentence, manipulated with changes in the line and time information order (ascendant/descendent) in x axis. In psyscope experiment, there was no difficulty in judging the sentence-picture compatibility when
congruency and correction were not different. Concerning the response time, there was effect of congruency and correction, with shorter times associated, respectively, to the conditions in which line was congruent to the verb and correct graph. There was also effect of interaction. In eye tracking experiment, accuracy rates, number of fixations, total fixation duration and the scanpath in areas of interest were analysed. In relation to accuracy rates, similar to psyscope experiment, more difficulty in processing was associated to incongruent/incorrect condition, in which there is a break in the expectation related to the line position (vs.verb) and the common organization of the elements displayed in x axis. Concerning eye movements, in the graph area, number of fixations and total fixation duration were higher in correct conditions; in the sentence area, these results were opposite. Analyzing the scanpath, data suggest that linguistic information is accessed first, guiding the graph reading. To conclude, it s possible to state that the cost of integration is determined by compatibility (or not) between the propositions from both linguistic and visual modules.
|
2 |
[en] THE INTERACTION BETWEEN LINGUISTIC AND VISUAL INFORMATION IN LANGUAGE COMPREHENSION / [pt] A INTERAÇÃO ENTRE INFORMAÇÕES LINGUÍSTICA E VISUAL NA COMPREENSÃO DA LINGUAGEMVINÍCIUS GUIMARÃES RODRIGUES 16 May 2017 (has links)
[pt] Esta dissertação tem por objetivo analisar como ocorre a interação entre informações de ordens linguística e visual em experimentos de compreensão de linguagem. Sentenças do português nas vozes ativa e passiva e com verbos de perspectiva (perseguir/fugir) foram analisadas a partir da técnica de comparação sentença-imagem, com manipulação de posição ocupada na imagem pelo personagem correspondente ao sujeito da sentença (esquerda vs. direita) e também do papel temático (agente/fonte vs. paciente/alvo) de um dos personagens sobre o qual recaía um recurso de manipulação de atenção visual. Do ponto de vista teórico, proble-matizou-se a interação entre conteúdos proposicionais oriundos do processamento visual e linguístico com base em uma articulação entre a faculdade da linguagem no sentido amplo (Hauser, Chomsky & Fitch, 2002) e a teoria da modularidade da mente (Fodor, 1983). Os resultados de dois experimentos realizados com falantes de português sugerem que, no mapeamento sentença-imagem, a posição do personagem correspondente ao sujeito não parece ser um fator relevante, a não ser em estruturas mais complexas, como no caso de sentenças envolvendo verbos de perspectiva em que o papel temático do sujeito não é prototípico. Em relação a papel temático, o fato de o foco atencional numa imagem estar sobre um elemento que corresponde a um sujeito com papel prototípico de agente parece facilitar o proces-samento. Quanto aos tipos de estrutura, como já verificado na literatura psicolin-guística, estruturas ativas parecem ser menos complexas do que passivas e facilitam o mapeamento visual. Quanto à expressão de perspectiva, verbos de perspectiva que empreendem um sujeito paciente/alvo parecem demandar maior custo de pro-cessamento, possivelmente em função de questões de acesso e representação lexical associadas a esses verbos. / [en] This dissertation aims to analyze how the interface between linguistic and visual information occurs based on language comprehension experiments. Active and passive voice sentences, as well as perspective predicates were analyzed using a sentence-image verification technique. The position of the characters representing the subject were manipulated (left-right orientation), and so were their theme roles (agent/source vs. patient/target) by means of attention manipulation. The proposi-tional theory, a relation between the faculty of language in the broad sense (Hauser, Chomsky and Fitch, 2002) and the modularity of mind theory (Fodor, 1983) were presented so as to explain how the interface between linguistic and visual information occurs. Our experiments were carried out with Portuguese speakers, and results indicate that during sentence-image mapping, left-right orientation does not seem to be a relevant factor, except for more complex structures, such as perspec-tive predicates where the subject s theme role is not prototypical. As for theme roles, the attention manipulation on the subject character seems to facilitate lan-guage processing. As for sentence types, active voice sentences seem to be pro-cessed more easily than passive ones. Perspective predicates whose subjects take a passive/target role seem to demand higher processing costs, possibly because of lexical access and representation.
|
Page generated in 0.0499 seconds