[pt] À medida em que aplicações web que combinam dados de
diferentes fontes ganham importância, soluções para a
detecção online de dados duplicados tornam-se centrais. A
maioria das técnicas existentes são baseadas em algoritmos de
aprendizado de máquina, que dependem do uso de bases de
treino criadas manualmente. Estas soluções não são adequadas
no caso da Deep Web onde, de modo geral, existe pouca
informação acerca do tamanho das fontes de dados, da
volatilidade dos mesmos e do fato de que a obtenção de um
conjunto de dados relevante para o treinamento é uma tarefa
difícil. Nesta dissertação propomos uma estratégia para
extração (scraping), detecção de duplicatas e incorporação de
dados resultantes de consultas realizadas em bancos de dados
na Deep Web. Nossa abordagem não requer o uso de conjuntos
de testes previamente definidos, mas utiliza uma combinação
de um classificador baseado no Vector Space Model, com
funções de cálculo de similaridade para prover uma solução
viável. Para ilustrar nossa proposta, nós apresentamos um
estudo de caso onde o framework é instanciado para uma
aplicação do domínio dos vinhos. / [en] As Web applications that obtain data from different sources
(Mashups) grow in importance, timely solutions to the
duplicate detection problem become central. Most existing
techniques, however, are based on machine learning
algorithms, that heavily rely on the use of relevant, manually
labeled, training datasets. Such solutions are not adequate
when talking about data sources on the Deep Web, as there is
often little information regarding the size, volatility and
hardly any access to relevant samples to be used for training.
In this thesis we propose a strategy to aid in the extraction
(scraping), duplicate detection and integration of data that
resulted from querying Deep Web resources. Our approach
does not require the use of pre-defined training sets , but rather
uses a combination of a Vector Space Model classifier with
similarity functions, in order to provide a viable solution. To
illustrate our approach, we present a case study where the
proposed framework was instantiated for an application in the
wine industry domain.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:16775 |
| Date | 24 January 2011 |
| Creators | GUSTAVO LOPES MOURAD |
| Contributors | KARIN KOOGAN BREITMAN, KARIN KOOGAN BREITMAN, KARIN KOOGAN BREITMAN |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | TEXTO |
Page generated in 0.0025 seconds