Return to search

[en] THE INTERACTION BETWEEN LINGUISTIC AND VISUAL INFORMATION IN LANGUAGE COMPREHENSION / [pt] A INTERAÇÃO ENTRE INFORMAÇÕES LINGUÍSTICA E VISUAL NA COMPREENSÃO DA LINGUAGEM

[pt] Esta dissertação tem por objetivo analisar como ocorre a interação entre informações de ordens linguística e visual em experimentos de compreensão de linguagem. Sentenças do português nas vozes ativa e passiva e com verbos de perspectiva (perseguir/fugir) foram analisadas a partir da técnica de comparação sentença-imagem, com manipulação de posição ocupada na imagem pelo personagem correspondente ao sujeito da sentença (esquerda vs. direita) e também do papel temático (agente/fonte vs. paciente/alvo) de um dos personagens sobre o qual recaía um recurso de manipulação de atenção visual. Do ponto de vista teórico, proble-matizou-se a interação entre conteúdos proposicionais oriundos do processamento visual e linguístico com base em uma articulação entre a faculdade da linguagem no sentido amplo (Hauser, Chomsky & Fitch, 2002) e a teoria da modularidade da mente (Fodor, 1983). Os resultados de dois experimentos realizados com falantes de português sugerem que, no mapeamento sentença-imagem, a posição do personagem correspondente ao sujeito não parece ser um fator relevante, a não ser em estruturas mais complexas, como no caso de sentenças envolvendo verbos de perspectiva em que o papel temático do sujeito não é prototípico. Em relação a papel temático, o fato de o foco atencional numa imagem estar sobre um elemento que corresponde a um sujeito com papel prototípico de agente parece facilitar o proces-samento. Quanto aos tipos de estrutura, como já verificado na literatura psicolin-guística, estruturas ativas parecem ser menos complexas do que passivas e facilitam o mapeamento visual. Quanto à expressão de perspectiva, verbos de perspectiva que empreendem um sujeito paciente/alvo parecem demandar maior custo de pro-cessamento, possivelmente em função de questões de acesso e representação lexical associadas a esses verbos. / [en] This dissertation aims to analyze how the interface between linguistic and visual information occurs based on language comprehension experiments. Active and passive voice sentences, as well as perspective predicates were analyzed using a sentence-image verification technique. The position of the characters representing the subject were manipulated (left-right orientation), and so were their theme roles (agent/source vs. patient/target) by means of attention manipulation. The proposi-tional theory, a relation between the faculty of language in the broad sense (Hauser, Chomsky and Fitch, 2002) and the modularity of mind theory (Fodor, 1983) were presented so as to explain how the interface between linguistic and visual information occurs. Our experiments were carried out with Portuguese speakers, and results indicate that during sentence-image mapping, left-right orientation does not seem to be a relevant factor, except for more complex structures, such as perspec-tive predicates where the subject s theme role is not prototypical. As for theme roles, the attention manipulation on the subject character seems to facilitate lan-guage processing. As for sentence types, active voice sentences seem to be pro-cessed more easily than passive ones. Perspective predicates whose subjects take a passive/target role seem to demand higher processing costs, possibly because of lexical access and representation.

Identiferoai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:29992
Date16 May 2017
CreatorsVINÍCIUS GUIMARÃES RODRIGUES
ContributorsERICA DOS SANTOS RODRIGUES, ERICA DOS SANTOS RODRIGUES
PublisherMAXWELL
Source SetsPUC Rio
LanguagePortuguese
Detected LanguagePortuguese
TypeTEXTO

Page generated in 0.002 seconds