Submitted by Wellington Veltroni (wellingtonveltroni@gmail.com) on 2018-04-10T20:01:58Z No. of bitstreams: 4 Disserta__o___Wellington_C__Veltroni-versao_final.pdf: 15387621 bytes, checksum: 73df0490e376ced1e7ca7ae3eb77db60 (MD5) FA_vELTRONI.jpg: 460462 bytes, checksum: 790b1993aa2dca9f252dac391edb16d3 (MD5) rd_vELTRONI.jpg: 817039 bytes, checksum: 9dca57906ec66fb968b138749edaf787 (MD5) tc_vELTRONI.jpg: 581847 bytes, checksum: bcc9d308881a36fbccfb47fe2349b222 (MD5) / Rejected by Eunice Nunes (eunicenunes6@gmail.com), reason: Bom dia Wellington, Informamos que faltou enviar a Carta comprovante assinada pelo orientador. Solicite o modelo em sua Secretaria de Pós-graduação, preencha e colete a assinatura com o orientador e acesse novamente o sistema para fazer o Upload. Fico no aguardo para finalizarmos o processo. Abraços Ronildo on 2018-04-17T14:16:27Z (GMT) / Submitted by Wellington Veltroni (wellingtonveltroni@gmail.com) on 2018-04-18T12:15:38Z No. of bitstreams: 5 Disserta__o___Wellington_C__Veltroni-versao_final.pdf: 15387621 bytes, checksum: 73df0490e376ced1e7ca7ae3eb77db60 (MD5) FA_vELTRONI.jpg: 460462 bytes, checksum: 790b1993aa2dca9f252dac391edb16d3 (MD5) rd_vELTRONI.jpg: 817039 bytes, checksum: 9dca57906ec66fb968b138749edaf787 (MD5) tc_vELTRONI.jpg: 581847 bytes, checksum: bcc9d308881a36fbccfb47fe2349b222 (MD5) Carta_orientadora.pdf: 386667 bytes, checksum: 7343ef875a0334174a4a5abe3fd73b3e (MD5) / Approved for entry into archive by Eunice Nunes (eunicenunes6@gmail.com) on 2018-04-26T12:03:07Z (GMT) No. of bitstreams: 5 Disserta__o___Wellington_C__Veltroni-versao_final.pdf: 15387621 bytes, checksum: 73df0490e376ced1e7ca7ae3eb77db60 (MD5) FA_vELTRONI.jpg: 460462 bytes, checksum: 790b1993aa2dca9f252dac391edb16d3 (MD5) rd_vELTRONI.jpg: 817039 bytes, checksum: 9dca57906ec66fb968b138749edaf787 (MD5) tc_vELTRONI.jpg: 581847 bytes, checksum: bcc9d308881a36fbccfb47fe2349b222 (MD5) Carta_orientadora.pdf: 386667 bytes, checksum: 7343ef875a0334174a4a5abe3fd73b3e (MD5) / Rejected by Eunice Nunes (eunicenunes6@gmail.com), reason: Bom dia Wellington, Verificamos que a folha de aprovação não está inserida em sua dissertação Tentei colocá-la aqui mas desconfigura todo o trabalho Poderia por favor enviar um novo arquivo com a folha de aprovação já inserida em sua dissertação Aguardo o retorno para finalizarmos o processo Qualquer dúvida estou à disposição Abraços Eunice on 2018-05-17T13:43:35Z (GMT) / Submitted by Wellington Veltroni (wellingtonveltroni@gmail.com) on 2018-05-28T14:50:36Z No. of bitstreams: 5 FA_vELTRONI.jpg: 460462 bytes, checksum: 790b1993aa2dca9f252dac391edb16d3 (MD5) rd_vELTRONI.jpg: 817039 bytes, checksum: 9dca57906ec66fb968b138749edaf787 (MD5) tc_vELTRONI.jpg: 581847 bytes, checksum: bcc9d308881a36fbccfb47fe2349b222 (MD5) Carta_orientadora.pdf: 386667 bytes, checksum: 7343ef875a0334174a4a5abe3fd73b3e (MD5) Disserta__o___Wellington_C__Veltroni_c_folha_aprovacao.pdf: 15849017 bytes, checksum: 2884d766f705fbe38907a8f56724796e (MD5) / Approved for entry into archive by Ronildo Prado (ri.bco@ufscar.br) on 2018-06-06T13:12:16Z (GMT) No. of bitstreams: 5 FA_vELTRONI.jpg: 460462 bytes, checksum: 790b1993aa2dca9f252dac391edb16d3 (MD5) rd_vELTRONI.jpg: 817039 bytes, checksum: 9dca57906ec66fb968b138749edaf787 (MD5) tc_vELTRONI.jpg: 581847 bytes, checksum: bcc9d308881a36fbccfb47fe2349b222 (MD5) Carta_orientadora.pdf: 386667 bytes, checksum: 7343ef875a0334174a4a5abe3fd73b3e (MD5) Disserta__o___Wellington_C__Veltroni_c_folha_aprovacao.pdf: 15849017 bytes, checksum: 2884d766f705fbe38907a8f56724796e (MD5) / Approved for entry into archive by Ronildo Prado (ri.bco@ufscar.br) on 2018-06-06T13:12:26Z (GMT) No. of bitstreams: 5 FA_vELTRONI.jpg: 460462 bytes, checksum: 790b1993aa2dca9f252dac391edb16d3 (MD5) rd_vELTRONI.jpg: 817039 bytes, checksum: 9dca57906ec66fb968b138749edaf787 (MD5) tc_vELTRONI.jpg: 581847 bytes, checksum: bcc9d308881a36fbccfb47fe2349b222 (MD5) Carta_orientadora.pdf: 386667 bytes, checksum: 7343ef875a0334174a4a5abe3fd73b3e (MD5) Disserta__o___Wellington_C__Veltroni_c_folha_aprovacao.pdf: 15849017 bytes, checksum: 2884d766f705fbe38907a8f56724796e (MD5) / Made available in DSpace on 2018-06-06T13:16:03Z (GMT). No. of bitstreams: 5 FA_vELTRONI.jpg: 460462 bytes, checksum: 790b1993aa2dca9f252dac391edb16d3 (MD5) rd_vELTRONI.jpg: 817039 bytes, checksum: 9dca57906ec66fb968b138749edaf787 (MD5) tc_vELTRONI.jpg: 581847 bytes, checksum: bcc9d308881a36fbccfb47fe2349b222 (MD5) Carta_orientadora.pdf: 386667 bytes, checksum: 7343ef875a0334174a4a5abe3fd73b3e (MD5) Disserta__o___Wellington_C__Veltroni_c_folha_aprovacao.pdf: 15849017 bytes, checksum: 2884d766f705fbe38907a8f56724796e (MD5) Previous issue date: 2018-03-02 / Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) / Text-image alignment is the task of aligning elements in a text with elements in the image accompanying it. In this work the text-image alignment was applied in news sites. A lot of news do not make clear the correspondence between elements of a text and elements within the associated image. In this scenario, text-image alignment arises with the intention of guiding the reader, bringing clarity to the news and associated image since it explicitly explains the direct correspondence between regions of the image and words (or named entities) in the text. The goal of this work is to combine Natural Language Processing (NLP) and Computer Vision (CV) techniques to generate a text-image alignment for news: the LinkPICS aligner. LinkPICS uses the YOLO convolutional network (CNN) to detect people and objects in the image associated with the news text. Due to the limitation of the number of objects detected by YOLO (only 80 classes), we decided to use three other CNNs to generate new labels for detected objects. In this work, the text-image alignment was divided into two distinct processes: (1) people alignment and (2) objects alignment. In people alignment, the named entities identified in the text are aligned with images of people. In the evaluation performed with the Folha de São Paulo International news corpus, in English, LinkPICS obtained an accuracy of 98% precision. For the objects alignment, the physical words are aligned with objects (or animals, fruits, etc.) present in the image associated with the news. In the evaluation performed with the news corpus of BBC NEWS, also in English, LinkPICS achieved 72% precision. The main contributions of this work are the LinkPICS aligner and the proposed strategy for its implementation, which represent innovations for the NLP and CV areas. In addition to these, another contribution of this work is the possibility of generating a visual dictionary (words associated with images) containing people and objects aligned, which can be used in other researches and applications such as helping to learn a second language. / O alinhamento texto-imagem é a tarefa de alinhar elementos presentes em um texto com elementos presentes na imagem que o acompanha. Neste trabalho, o alinhamento texto-imagem foi aplicado em sites de notícias. Muitas notícias não deixam clara para o leitor a correspondência entre elementos do texto e elementos contidos na imagem associada. Nesse cenário, o alinhamento texto-imagem surge com a intenção de orientar o leitor, trazendo clareza para a notícia e a imagem associada uma vez que explicita a correspondência direta entre regiões da imagem e palavras (ou entidades) no texto. O objetivo deste trabalho é combinar técnicas de Processamento de Linguagem Natural (PLN) e Visão Computacional (VC) para gerar um alinhador texto-imagem para notícias: o alinhador LinkPICS. O LinkPICS utiliza a rede convolucional (CNN) YOLO para detectar pessoas e objetos na imagem associada ao texto da notícia. Devido à limitação do número de objetos detectados pela YOLO (80 classes de objetos), optou-se também pela utilização de outras três CNNs para a geração de novos rótulos para objetos. Neste trabalho, o alinhamento texto-imagem foi dividido em dois processos distintos: (1) o alinhamento de pessoas e (2) o alinhamento de objetos. No alinhamento de pessoas, as entidades nomeadas são alinhadas com imagens de pessoas e na avaliação realizada no córpus de notícias da Folha de São Paulo Internacional, em inglês, obteve-se uma precisão de 98%. No alinhamento de objetos, as palavras físicas são alinhadas com objetos (ou animais, frutas, etc.) contidos na imagem associada à notícia e na avaliação realizada no córpus de notícias da BBC NEWS, também em inglês, obteve-se uma precisão de 72%. As principais contribuições deste trabalho são o alinhador LinkPICS e a estratégia proposta para sua implementação, que representam inovações para as áreas de PLN e VC. Além destas, outra contribuição deste trabalho é a possibilidade de geração de um dicionário visual (palavras associadas a imagens) contendo pessoas e objetos alinhados, que poderá ser utilizado em outras pesquisas e aplicações como, por exemplo, no auxílio ao aprendizado de outro idioma. / CNPQ: 133679/2015-2