Learning and representing semantics is one of the most important tasks that significantly contribute to some growing areas, as successful stories in the recent survey of Turney and Pantel (2010). In this thesis, we present an in- novative (and first) framework for creating a multimodal distributional semantic model from state of the art text-and image-based semantic models. We evaluate this multimodal semantic model on simulating similarity judgements, concept clustering and the newly introduced BLESS benchmark. We also propose an effective algorithm, namely Parameter Estimation, to integrate text- and image- based features in order to have a robust multimodal system. By experiments, we show that our technique is very promising. Across all experiments, our best multimodal model claims the first position. By relatively comparing with other text-based models, we are justified to affirm that our model can stay in the top line with other state of the art models. We explore various types of visual features including SIFT and other color SIFT channels in order to have prelim- inary insights about how computer-vision techniques should be applied in the natural language processing domain. Importantly, in this thesis, we show evi- dences that adding visual features (as the perceptual information coming from...

Made available in DSpace on 2016-04-28T19:59:20Z (GMT). No. of bitstreams: 1 Rita de Cassia Batista Arantes.pdf: 23852264 bytes, checksum: 3aa2fc3be75555187fb277d747d4c243 (MD5) Previous issue date: 2009-12-15 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The main object of this research is reading the child s book illustrator process considering the dialog between word and image in the writer and illustrator Eva Furnari s books, under poetic and expressive functions. Many categorical and functionalist studies on image and word are, here, thought over and applied: Roland Barthes (1972); Roman Jakobson (1985); Kibédi-Varga (1989); Luís Camargo (1998), Rui de Oliveira (1998), among other proposals of studious and artists involved in child s book illustration. We are trying to demonstrate the fable reinvention of the child s book, taking from the illustrated pages since oral narrative versions to Eva Furnari s imagetic narrative and pieces of other contemporary illustrator authors, intending to find a methodology to read the space, understood as the place of language creation. The outcome of the interaction between the artistic graphic project and the literary project is the illustrator text, space of reading experience and using the image interrelated to the word. This analytic and interpretative study came out of questions concerning to the relation between autonomy and the complementarity of image and word observed in the illustrative polissemic Furnari s works and others. During the preparation of this study, questions on the reading expression under the author s and the reader s imaginary, favoring the understanding of reading ages, beyond the verbal and visual reading hierarchy to be observed in young reader s formation. Chapter I deals with the illustration historicity, emphasizing the relationship word-image statute, in autonomy and interdependence, offering conjectures to the visual approach for child s books pages. The chapter II focuses on the thematic importance of the written project facing the interactive experience between the imaginary project and the verbal one considered as a text, space of language production. The third one presents a dialog on the bidimensional physical space of Furnari s books pages and other illustrators in order to apply the methodology and the final results related to the illustrative text semantics / O objetivo central desta dissertação é a leitura do processo ilustrador do livro infantil à luz das relações palavra e imagem nas obras da escritora-ilustradora Eva Furnari, a serem investigadas sob a perspectiva das funções poética e expressiva. Diversas teorias categoriais e funcionalistas do estudo da imagem e da palavra são, aqui, repensadas e aplicadas, como as de Roland Barthes (1972), Romam Jakobson (1985), Luís Camargo (1998), Rui de Oliveira (1998), dentre outras propostas de estudiosos e artistas da ilustração do livro infantil. Trata-se de demonstrar o trabalho de reinvenção fabular do livro infantil, tomando, nas páginas ilustradas, as versões da narrativa oral em narrativa imagética de Furnari e de outros autores ilustradores contemporâneos, com a intenção de encontrar uma metodologia de leitura do espaço, entendido como lugar de criação de linguagem. A resultante da interação do projeto gráfico artístico com o projeto literário é o texto ilustrador, espaço da experiência de leitura e uso da imagem em inter-relação com a palavra. Este estudo analítico interpretativo surgiu de indagações manifestas nas relações entre a autonomia e a complementaridade da imagem e da palavra observadas no trabalho ilustrador polissêmico de Furnari e demais autores. No decorrer deste estudo, questões foram levantadas quanto à expressão da leitura sob o imaginário tanto do produtor, quanto do leitor, privilegiando o entendimento das idades da leitura, em função de uma hierarquia da leitura não só verbal, mas também visual, a ser observada na formação do leitor criança. O capítulo I refere-se à historicidade da ilustração, enfatizando o estatuto das relações palavra-imagem, em autonomia e interdependência, oferecendo pressupostos para a abordagem da visualidade na página do livro infantil. O capítulo II centraliza a importância temática do projeto escrito, considerando-se a experiência interativa entre o projeto imagético e o verbal, como texto, lugar de produção de linguagem. O capítulo III faz o diálogo com esse espaço físico bidimensional da página dos livros de Furnari e de vários outros ilustradores em função da aplicação de sua metodologia e resultados finais relativos à semântica do texto ilustrador