[pt] O presente estudo investiga o processamento incremental de orações relativas restritivas de objeto. Considera-se, em particular, o mapeamento antecipado do referente do DP complexo, por meio da integração incremental de informação contextual, durante o processamento da oração relativa, explorando-se a possibilidade de esse tipo de integração ser conciliado à concepção de um processador sintático autônomo. Esse tema é abordado em duas direções: (i) investigando-se o momento da integração de informação contextual e as condições em que poderia haver mapeamento antecipado de referentes de um DP complexo; e (ii) avaliando-se as vantagens computacionais de um processador autônomo (frente a modelos interativos) com vistas a propor procedimento de análise que permita compatibilizá-las com os resultados experimentais obtidos. Em razão de (i), foram conduzidos três experimentos de rastreamento ocular. Sentenças com um DP-sujeito complexo contendo relativas de objeto foram apresentadas concomitantemente (experimento 1) ou precedidas (experimento 2) de contextos discursivos e visuais que poderiam permitir a desambiguização da referência em diferentes segmentos da oração relativa. Os resultados, em consonância com a literatura, sugerem que estímulos verbais foram incrementalmente processados e mapeados em referentes visuais, de modo que a busca pelo referente do DP complexo parece ter emergido tão logo houvesse informação distintiva disponível. O experimento 3 teve por objetivo investigar em que medida o mapeamento antecipado ocorreria também em estímulos temporariamente ambíguos (entre uma leitura completiva ou relativa restritiva), apresentados verbalmente em entonação natural, e precedidos por informação contextual que poderia favorecer uma análise restritiva. Ao contrário de resultados anteriores, contudo, o direcionamento contextual não pareceu suplantar a aplicação de uma análise compatível com o princípio de aposição mínima. Em função de (ii), o modelo de computação online de Corrêa e Augusto (2007) e seus desdobramentos em Augusto, Corrêa e Forster (2012) foram explorados, incorporando-se unidades de processamento correspondentes ao conceito minimalista de fase, de forma a permitir a transferência gradual de material já parcialmente processado aos sistemas de interface com vistas a possibilitar a integração incremental de informação contextual. Propõe-se, adicionalmente, que um mecanismo de pré-ativação de relações temáticas, baseado em informação contextual, poderia ser capaz de caracterizar o mapeamento antecipado do referente de um DP complexo. / [en] This study investigates the incremental processing of restrictive object relative clauses. The anticipation of the referent of the complex DP, as contextual information is integrated during the analysis of relative clause, is particularly considered and the possibility is explored of this sort of incremental processing being reconciled with an autonomous parser. The argument is conducted two-way: (i) by characterizing the moment in time at which the information provided by the complex DP is integrated with background information, and the conditions that allow for the anticipation of the referent of a complex DP; (ii) by considering the computational advantages of an autonomous parser (vis a vis interactive models), and possible means of reconciling the experimental results obtained. As for (i), three experiments were conducted in the visual world paradigm. Sentences with a complex DP subject containing a restrictive object relative clause were presented either concomitantly to a visually supported discourse context (Experiment 1) or preceded by it (Experiment 2). The visual context was manipulated in such a way as to enable the integration of the information provided by the complex DP and the discourse context to take place at different sentence segments. The results confirmed previously reported findings suggesting that sentences are incrementally interpreted and mapped onto the external world, and that the referent of the complex DP is search for as soon as possible. Experiment 3 was intended to verify the extent to which such an anticipation would take place in temporally ambiguous sentences (complement sentences or relative clauses), presented in normal intonation and preceded by contexts that would bias for the parsing of restrictive relative clauses. Unlike previous findings, however, the biasing context did not override Minimal Attachment. As for (ii), the on-line model of sentence computation in Corrêa and Augusto (2007) and its expansion in Augusto, Corrêa and Forster (2012) were further developed. The minimalist concept phase with a partially analyzed material being transferred to the interfaces, when adapted to left-right on-line computation, enables a partially analyzed complex DP to be minimally interpreted and integrated with background information. Additionally, the pre-activation of thematic relations on the basis of discourse/contextual information was proposed as a means of accounting for the anticipation of the referent of complex DP as the subject of the relative clause is analyzed.

[pt] Esta tese possui como objetivo investigar o mapeamento entre o conteúdo de sentenças e aquele apresentado em gráficos no processo de compreensão multimodal. Assume-se uma abordagem experimental, baseada nos aportes teórico-metodológicos da Psicologia Cognitiva e da Psicolinguística, aliada a discussões pertinentes à área de Educação Matemática e aos estudos sobre multimodalidade e letramento. Consideram-se duas propostas acerca da integração entre informação linguística e visual: uma vinculada à hipótese de modularidade representacional de Jackendoff (1996), em que se defende a ideia de módulos de interface, de natureza híbrida, e uma proposta alternativa, assumida no presente trabalho, segundo a qual tanto o processamento linguístico como o visual gerariam representações de natureza abstrata/proposicional, que seriam integradas em uma interface conceitual. Buscou-se verificar (i) se fatores top-down como conhecimento prévio do assunto afetam essa integração e (ii) em que medida informação linguística instaura expectativas acerca da informação expressa no gráfico. Foram conduzidos dois experimentos de comparação sentença-figura com gráficos de coluna e de linha, utilizando o programa psyscope, e um envolvendo gráficos de linha com a técnica de rastreamento ocular. Não foram encontradas evidências de efeitos top-down no experimento com gráfico de colunas. Foram obtidos, contudo, efeitos significativos para tempo de resposta associados a outros fatores, quais sejam correção do gráfico, expressão lexical usada para comparar itens do gráfico (maior vs menor, p. ex.) e número de itens referidos na sentença a serem localizados no gráfico. Nos dois experimentos com gráficos de linha, as variáveis independentes foram (i) congruência (linha congruente/incongruente em relação ao verbo – exemplo: linha inclinada para cima ou para baixo vs. verbo subir) e (ii) correção do gráfico em expressar o conteúdo da frase, manipulada com alterações na linha e na ordenação (ascendente/descendente) de informação temporal no eixo x. No experimento com psyscope, os resultados indicaram não haver dificuldade de julgar a compatibilidade frase/gráfico quando congruência e correção não divergiam. Para tempo de resposta, houve efeito principal de congruência e correção, com menores tempos associados, respectivamente, às condições em que a linha era congruente com o verbo e o gráfico correto. Também houve efeito de interação entre as variáveis. No experimento com rastreador ocular, foram analisados índice de acertos, número e tempo total de duração das fixações e trajetória do olhar nas áreas de interesse demarcadas. Em relação a índice de acerto, assim como no experimento com psycope, maior dificuldade de processamento estava associada à condição incongruente correta, em que há quebra de expectativa em relação à posição da linha (vs. verbo) e ao modo usual de organização dos gráficos no eixo x. Quanto aos movimentos oculares, na área do gráfico, observou-se maior número e tempo total de duração das fixações nas condições corretas; na área da frase, tais condições apresentaram resultados opostos. Quanto à trajetória do olhar, os dados sugerem ser a informação linguística acessada em primeiro lugar, orientando a leitura do gráfico. Considerando os resultados em conjunto, pode-se afirmar que o custo de integração é determinado pela compatibilidade (ou não) entre as proposições geradas pelos módulos linguístico e visual. / [en] This thesis aims at investigating the mapping between the sentential content and the content presented in graphs in a multimodal comprehension process. We assume an experimental approach, based on Cognitive Pyschology and Psycholinguistics methodological and theoretical contributions as well as literacy and multimodality studies. Two proposals concerning the integration between linguistic and visual information are considered: one linked to Jackendoff s (1996) representational modularity hypothesis, in which, the idea of interface modules, of hybrid nature, is defended; and an alternative one according to which linguistic and visual processing could generate propositional/abstract representations which could be integrated into a conceptual interface. We tried to check (i) if top-down aspects such as prior knowledge can affect this integration and (ii) in what extent linguistic information may bring expectations about the information expressed in the graph. Sentence-picture comparison experiments were conducted with line and columns graphs using the pyscope software, and another one concerning line graphs with eye tracking technique. Top-down effects were not found in columns graphs experiment. However, significant effects related to response time associated with other aspects such as graph accuracy, lexical expression used in order to compare graph elements (larger x smaller, for example) and the number of elements in the sentence that must be found in the graph. In both experiments with line graphs, the independent variables were (i) congruency (congruent/incongruent line in relation to the verb - line up or down vs verb increase) and (ii) accuracy of the graph in order to express the content of the sentence, manipulated with changes in the line and time information order (ascendant/descendent) in x axis. In psyscope experiment, there was no difficulty in judging the sentence-picture compatibility when congruency and correction were not different. Concerning the response time, there was effect of congruency and correction, with shorter times associated, respectively, to the conditions in which line was congruent to the verb and correct graph. There was also effect of interaction. In eye tracking experiment, accuracy rates, number of fixations, total fixation duration and the scanpath in areas of interest were analysed. In relation to accuracy rates, similar to psyscope experiment, more difficulty in processing was associated to incongruent/incorrect condition, in which there is a break in the expectation related to the line position (vs.verb) and the common organization of the elements displayed in x axis. Concerning eye movements, in the graph area, number of fixations and total fixation duration were higher in correct conditions; in the sentence area, these results were opposite. Analyzing the scanpath, data suggest that linguistic information is accessed first, guiding the graph reading. To conclude, it s possible to state that the cost of integration is determined by compatibility (or not) between the propositions from both linguistic and visual modules.

[pt] Esta dissertação insere-se na área da Psicolinguística e teve como objetivo analisar como alunos de Ensino Médio fazem a leitura das provas de espanhol do ENEM, identificando os custos associados à compreensão dos textos. A pesquisa envolveu (i) a análise linguística das provas de 2010 a 2017 e das habilidades de leitura, conforme as matrizes de referência do ENEM e do PISA e (ii) o exame das estratégias de leitura empregadas na realização da prova de 2017. Foi comparado o desempenho de 44 alunos com tempos distintos de exposição à língua espanhola (pelo menos 50 horas/aula vs. menos de 17 horas/aula). Os dados foram obtidos por meio do programa de gravação de tela Active Presenter e do rastreador ocular Tobii Pro-X3 120 Hz. Os principais aportes teóricos foram pesquisas no campo da leitura e da Psicolinguística do Bilinguismo. Os resultados indicam diferenças de complexidade entre as provas quanto às estruturas e o vocabulário, foco em habilidades de integração e interpretação de textos, e uso e função social das estruturas. A taxa de acertos foi inferior a 50 por cento, com desempenho superior para o grupo com maior exposição à língua na atividade no rastreador ocular. A média de tempo para realização da prova foi compatível com o previsto para o ENEM. Não houve diferença significativa entre os grupos quanto ao número de releituras e poucos iniciaram a leitura pelo enunciado. Em relação aos parâmetros oculares, também não há evidências de desempenho distinto. / [en] This thesis is developed under the scope of Psycholinguistics and is aimed at analyzing how high school students read the ENEM Spanish tests, in addition to identifying cost associated with reading comprehension. The research involved (i) the linguistic analysis of the 2010-2017 tests and reading skills in accordance to the ENEM and PISA reference matrices and (ii) the examination of the reading strategies employed in the 2017 test. The performance of 44 students with different language exposure time to Spanish (at least 50 hours of in-class exposure vs. less than 17 in-class exposure) was compared. The data were obtained through the Active Presenter screen recording program and Tobii Pro-X3 120 Hz eye tracker. The main theoretical frameworks were research in the field of reading and Psycholinguistics of Bilingualism. The results show differences in complexity between the tests regarding structure and vocabulary, focus on text integration and reading skills, and use and social function of the structures. The hit rate was less than 50 percent, and the group with the highest language exposure outperformed in the eye tracker activity. The average time to perform the test was compatible with the one predicted for ENEM. There was no significant difference between the groups in the number of rereading times, and few started reading by the statement. Regarding eye parameters, there is also no evidence of distinct performance.

[pt] O rastreamento ocular (eye-tracking) possibilita rastrear a posição e a direção do olhar de uma pessoa sobre algum tipo de estímulo (e.g., imagens ou vídeos). O uso desta tecnologia permite identificar eventos inerentes à visão humana, que contém informações implícitas capazes de revelar aspectos importantes sobre o comportamento de um indivíduo durante uma determinada tarefa. Porém, identificar essas informações requer um conjunto de habilidades para interpretar os dados de rastreamento ocular e relacioná-los com conhecimentos de domínios específicos. Nesse contexto, pode-se fazer grande proveito de sistemas inteligentes para agregar os conhecimentos e experiências de especialistas junto às respostas do dispositivo de rastreamento ocular. Dessa forma, o objetivo principal deste trabalho é propor uma metodologia para criar sistemas baseados em eye-tracking, para enriquecer o processo de avaliação de um indivíduo frente a uma determinada tarefa, resultando em um modelo para representar o conhecimento dos especialistas sobre aspectos subjetivos, visando automatizar esse processo avaliativo. Portanto, o presente trabalho toma como caso de uso a avaliação da relação entre comportamento visual e eficácia de indivíduos na resolução de testes inspirados em Matrizes Progressivas de Raven. Esses testes são comumente usados na psicologia para medir inteligência e a capacidade de raciocínio abstrato a partir da visualização de imagens. Optamos por utilizar uma abordagem baseada em regras fuzzy, por permitir armazenar conhecimento de forma mais transparente e legível aos usuários finais. As regras do modelo foram desenvolvidas e validadas com o auxílio de um especialista da área da psicologia. O sistema foi testado com dados extraídos de um grupo de usuários e apresentou resultados promissores. Os achados e modelos obtidos nessa pesquisa poderão ser utilizados como alicerce para o desenvolvimento de sistemas mais robustos. / [en] Eye-tracking makes it possible to track the position and direction of a person s gaze on some stimulus (e.g., images or videos). This technology allows us to identify events inherent to human vision, containing implicit information capable of revealing essential aspects of one s behavior during a given task. However, identifying these pieces of information is a complex task that requires a set of skills to interpret the eye-tracking data and relate it to domain-specific knowledge. In this context, one can use intelligent systems to couple the knowledge and experience of specialists with the responses from the eye-tracking device. Thus, the main objective of this work is to propose a methodology to create eye-tracking-based systems to improve the assessment of subjects during specific tasks, resulting in a model that can represent the specialist s knowledge over subjective aspects to automate this process. Therefore, the present work s use case is the evaluation of the relationship between visual behavior and efficiency in solving tests inspired by Raven s Progressive Matrices. Those tests are commonly used in psychology to measure intelligence and abstract reasoning through image visualization. We chose an approach based on fuzzy rules, as it allows us to represent knowledge in a more readable way to end-users. The model s rules were developed and validated alongside a specialist in psychology. The system was tested with data extracted from users and showed promising results. The findings and models obtained in this research may be used as a foundation for the development of more robust systems.