Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2017-10-05T11:30:17Z No. of bitstreams: 2 Dissertação - Sidney Ribeiro Junior - 2017.pdf: 1832065 bytes, checksum: 41b96bdea09ea7b5ddb6551265e0622b (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2017-10-05T11:30:38Z (GMT) No. of bitstreams: 2 Dissertação - Sidney Ribeiro Junior - 2017.pdf: 1832065 bytes, checksum: 41b96bdea09ea7b5ddb6551265e0622b (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2017-10-05T11:30:38Z (GMT). No. of bitstreams: 2 Dissertação - Sidney Ribeiro Junior - 2017.pdf: 1832065 bytes, checksum: 41b96bdea09ea7b5ddb6551265e0622b (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2017-08-29 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / Similarity Join is an important operation for information retrieval, near duplicate detection, data analysis etc. State-of-the-art algorithms for similarity join use a technique known as prefix filtering to reduce the amount of sets to be entirely compared by previously discarding dissimilar sets. However, prefix filtering is only effective when looking for very similar data. An alternative to speedup the similarity join when prefix filtering is not efficient is to explore parallelism. In this work we developed three multi-level fine-grained parallel algorithms for many-core architectures (such as modern Graphic Processing Units) to solve the similarity join problem. The proposed algorithms have shown speedup gains of 109x and 17x when compared with sequential (ppjoin) and parallel (fgssjoin) state-of-the-art solutions, respectively, on standard real text databases. / A Junção por Similaridade é uma operação importante no contexto de recuperação da informação, identificação de duplicatas, análise de dados etc. Os algoritmos do estado da arte que realizam a junção por similaridade utilizam uma técnica chamada filtragem por prefixo, que diminui a quantidade de pares a serem totalmente comparados ao descartar previamente pares dissimilares. No entanto, a filtragem por prefixo é eficaz apenas quando se deseja encontrar pares muito similares. Uma alternativa para melhorar o desempenho da junção por similaridade quando a filtragem por prefixo é ineficaz, é explorar paralelismo. Neste trabalho foram desenvolvidos três algoritmos com paralelismo multinível de granularidade fina para arquiteturas many-core (como as modernas Unidades de Processamento Gráfico) para resolver o problema da junção por similaridade. Os algoritmos desenvolvidos demonstraram ganhos de speedup de até 109x e 17x em relação às soluções do estado da arte sequencial (ppjoin) e paralela (fgssjoin), respectivamente, quando executado sobre bases de dados textuais padrão reais.

Os atuais gerenciadores de banco de dados não são adequados para manipulação de dados complexos; e entre eles destacamos os dados multimídia que, para agilizar as consultas usam a operação de igualdade sobre as estruturas de indexação.Operações de igualdade são pouco utilizadas em operações que envolvem dados complexos, uma vez que, a existência de dois elementos extremamente iguais é rara. Uma classe de operadores que se adequa melhor para manipulação desses dados são os operadores por similaridade. Exemplo de operadores de seleção por similaridade são a consulta por abrangência (range queries) e consulta aos vizinhos mais próximos. Exemplificando, o operador de seleção aos vizinhos mais próximos responde a consultas como, ?selecione as cinco proteínas mais parecidas pelo alinhamento da proteína Sparc (responsável pelo câncer de pele)?. Existem muitos trabalhos desenvolvidos no sentido de prover operadores de seleção por similaridade envolvendo estruturas baseadas em árvores. Entretanto, poucos estudos têm sido realizados envolvendo a utilização de operadores diferentes da seleção, por exemplo, a junção. Um operador de junção compara pares de objetos de elementos pertencentes ao domínio dos dados, ao passo que um operador de seleção recebe uma constante para a comparação dos elementos. Podemos ter assim, três operadores de junção por similaridade: operadores de junção por abrangência, por vizinhos mais próximos e sobre os pares de vizinhos mais próximos. Exemplificando, uma consulta utilizando junção por abrangência responde a consultas do tipo: ?Selecione as proteínas contidas no vírus da Hepatite B que diferem em até duas unidades de alinhamento das contidas no vírus da Hepatite C?. Este trabalho apresenta um novo método de acesso métrico em extrema quantidade de dados bem como, formas de implementação das formas de junção em estruturas métricas / The present databases managers are not adequated for complex data manipulation and among them we point out the multimedia data that to speed up the query use the equality operation on the index structure. Equality operations are not much used in operations that involve complex data sence the presence of two elements extremely equal is rare. An operator class that better manipulates these data are the similarity operators. Selection operators by similarity are the range query and the nearest neighbors query. For example, the selection operator to the nearest neighbors answers the queries like: ?select five proteins more similar by the alignment of the Sparc protein (responsible for the skin cancer)?. There are many works developed to provide similarity by selection operators envvolving structures based in trees. However, few studies have been done involving the use of different operators selection, for example, the join. A join operator compares pairs of objects of the elements belonging to the domain of the data, whereas a selection operator receives a constant to make the comparison of the elements. We can have three similarity join operators: the range join operators, the nearest neighbor and the closest neighbors pair. For instance, a query using the range join answers these kind of queries: ?Select the proteins restrained in the Hepatitis B virus that differ up to two unities from the alignment of the protein found in the Heapatitis C virus?. This work presents a new metric access method with an extreme amount of data as well as implementations forms of the join in metric structures

Os atuais gerenciadores de banco de dados não são adequados para manipulação de dados complexos; e entre eles destacamos os dados multimídia que, para agilizar as consultas usam a operação de igualdade sobre as estruturas de indexação.Operações de igualdade são pouco utilizadas em operações que envolvem dados complexos, uma vez que, a existência de dois elementos extremamente iguais é rara. Uma classe de operadores que se adequa melhor para manipulação desses dados são os operadores por similaridade. Exemplo de operadores de seleção por similaridade são a consulta por abrangência (range queries) e consulta aos vizinhos mais próximos. Exemplificando, o operador de seleção aos vizinhos mais próximos responde a consultas como, ?selecione as cinco proteínas mais parecidas pelo alinhamento da proteína Sparc (responsável pelo câncer de pele)?. Existem muitos trabalhos desenvolvidos no sentido de prover operadores de seleção por similaridade envolvendo estruturas baseadas em árvores. Entretanto, poucos estudos têm sido realizados envolvendo a utilização de operadores diferentes da seleção, por exemplo, a junção. Um operador de junção compara pares de objetos de elementos pertencentes ao domínio dos dados, ao passo que um operador de seleção recebe uma constante para a comparação dos elementos. Podemos ter assim, três operadores de junção por similaridade: operadores de junção por abrangência, por vizinhos mais próximos e sobre os pares de vizinhos mais próximos. Exemplificando, uma consulta utilizando junção por abrangência responde a consultas do tipo: ?Selecione as proteínas contidas no vírus da Hepatite B que diferem em até duas unidades de alinhamento das contidas no vírus da Hepatite C?. Este trabalho apresenta um novo método de acesso métrico em extrema quantidade de dados bem como, formas de implementação das formas de junção em estruturas métricas / The present databases managers are not adequated for complex data manipulation and among them we point out the multimedia data that to speed up the query use the equality operation on the index structure. Equality operations are not much used in operations that involve complex data sence the presence of two elements extremely equal is rare. An operator class that better manipulates these data are the similarity operators. Selection operators by similarity are the range query and the nearest neighbors query. For example, the selection operator to the nearest neighbors answers the queries like: ?select five proteins more similar by the alignment of the Sparc protein (responsible for the skin cancer)?. There are many works developed to provide similarity by selection operators envvolving structures based in trees. However, few studies have been done involving the use of different operators selection, for example, the join. A join operator compares pairs of objects of the elements belonging to the domain of the data, whereas a selection operator receives a constant to make the comparison of the elements. We can have three similarity join operators: the range join operators, the nearest neighbor and the closest neighbors pair. For instance, a query using the range join answers these kind of queries: ?Select the proteins restrained in the Hepatitis B virus that differ up to two unities from the alignment of the protein found in the Heapatitis C virus?. This work presents a new metric access method with an extreme amount of data as well as implementations forms of the join in metric structures

O operador de Junção é um operador importante da Álgebra Relacional que combina os pares de tuplas que atendem a uma dada condição de comparação entre os valores dos atributos de duas relações. Quando a comparação avalia a similaridade entre pares de valores, o operador é chamado Junção por Similaridade. Esse operador tem aplicações em diversos contextos, tais como o suporte de tarefas de mineração e análise de dados em geral, e a detecção de quase-duplicatas, limpeza de dados e casamento de cadeias de caracteres em especial. Dentre os operadores de junção por similaridade existentes, a Junção por Abrangência (range join) é a mais explorada na literatura. Contudo, ela apresenta limitações, tal como a dificuldade para se encontrar um limiar de similaridade adequado. Nesse contexto, a Junção por k-vizinhos mais próximos (knearest neighbor join kNN join) é considerada mais intuitiva, e portanto mais útil que o range join. Entretanto, executar um kNN join é computacionalmente mais caro, o que demanda por abordagens baseadas na técnica de laço aninhado, e as técnicas existentes para a otimização do algoritmo são restritas a um domínio de dados em particular. Visando agilizar e generalizar a execução do kNN join, a primeira contribuição desta tese foi o desenvolvimento do algoritmo QuickNearest, baseado na técnica de divisão e conquista, que é independente do domínio dos dados, independente da função de distância utilizada, e que computa kNNjoins de maneira muito eficiente. Os experimentos realizados apontam que o QuickNearest chega a ser 4 ordens de magnitude mais rápido que os métodos atuais. Além disso, o uso de operadores de junção por similaridade em ambientes relacionais é problemático, principalmente por dois motivos: (i)emgeral o resultado tem cardinalidade muito maior do que o realmente necessário ou esperado pela maioria das aplicações de análise de dados; e (ii) as consultas que os utilizam envolvem também operações de ordenação, embora a ordem seja um conceito não associado à teoria relacional. A segunda contribuição da tese aborda esses dois problemas, tratando os operadores de junção por similaridade existentes como casos particulares de um conjunto mais amplo de operadores binários, para o qual foi definido o conceito de Wide-joins. Os operadores wide-joins recuperam os pares mais similares em geral e incorporam a ordenação como uma operação interna ao processamento, de forma compatível com a teoria relacional e que permite restringir a cardinalidade dos resultados a tuplas de maior interesse para as aplicações. Os experimentos realizados mostram que os wide-joins são rápidos o suficiente para serem usados em aplicações reais, retornam resultados de qualidade melhor do que os métodos concorrentes e são mais adequados para execução num ambiente relacional do que os operadores de junção por similaridade tradicionais. / Joins are important Relational Algebra operators. They pair tuples from two relations that meet a given comparison condition between the attribute values. When the evaluation compares the similarity among the values, the operator is called a Similarity Join. This operator has application to a variety of contexts, such as supporting data mining tasks and data analysis in general, and near-duplicate detection, data cleaning and string matching in particular. Among the existing types of similarity joins, the range join is the most explored one in the literature. However, it has several shortcomings, such as the diculty to find adequate similarity thresholds. In such context, the k-nearest neighbors join (kNN join) is considered more intuitive, and therefore more useful than the range join. However, the kNN join execution is computationally well more expensive, thus demanding implementations either based on nested loop techniques, which are generic, or on optimizing techniques but that are specific data given domains. In order to accelerate and generalize kNN join execution, the first contribution of this thesis was the development of the QuickNearest algorithm, based on the divide and conquest approach that is independent of the data domain, independent of the distance function used, and that computes kNN joins very eciently. Experiments performed with the QuickNearest algorithm show that it is up to four orders of magnitude faster than current methods. Nevertheless, using similarity join operators in relational environments remains generally troublesome, due to two main reasons: (i) the result often has a cardinality much larger than what is actually needed or expected by most of the data analysis applications; and (ii) queries that use them almost always also require sorting operations, but order concept is not present in the relational theory. The second contribution of the thesis addresses these two problems through the definition of the concept of Wide-joins, which turns the existing similarity join operators just as particular cases of a more powerful set of binary operators. Awide-join operator retrieves the pairs most similar in general and already incorporates ordering as an internal operation to its processing, what makes it fully compatible with the relational theory. The concept also provides powerful ways to restrict the result cardinality just to tuples really meaningful for the applications. In fact, the experiments have also shown that wide-joins are fast enough to be useful for real applications, they return results of better quality than competing methods, and are more suitable for execution in a relational environment than the traditional similarity join operators.

O operador de Junção é um operador importante da Álgebra Relacional que combina os pares de tuplas que atendem a uma dada condição de comparação entre os valores dos atributos de duas relações. Quando a comparação avalia a similaridade entre pares de valores, o operador é chamado Junção por Similaridade. Esse operador tem aplicações em diversos contextos, tais como o suporte de tarefas de mineração e análise de dados em geral, e a detecção de quase-duplicatas, limpeza de dados e casamento de cadeias de caracteres em especial. Dentre os operadores de junção por similaridade existentes, a Junção por Abrangência (range join) é a mais explorada na literatura. Contudo, ela apresenta limitações, tal como a dificuldade para se encontrar um limiar de similaridade adequado. Nesse contexto, a Junção por k-vizinhos mais próximos (knearest neighbor join kNN join) é considerada mais intuitiva, e portanto mais útil que o range join. Entretanto, executar um kNN join é computacionalmente mais caro, o que demanda por abordagens baseadas na técnica de laço aninhado, e as técnicas existentes para a otimização do algoritmo são restritas a um domínio de dados em particular. Visando agilizar e generalizar a execução do kNN join, a primeira contribuição desta tese foi o desenvolvimento do algoritmo QuickNearest, baseado na técnica de divisão e conquista, que é independente do domínio dos dados, independente da função de distância utilizada, e que computa kNNjoins de maneira muito eficiente. Os experimentos realizados apontam que o QuickNearest chega a ser 4 ordens de magnitude mais rápido que os métodos atuais. Além disso, o uso de operadores de junção por similaridade em ambientes relacionais é problemático, principalmente por dois motivos: (i)emgeral o resultado tem cardinalidade muito maior do que o realmente necessário ou esperado pela maioria das aplicações de análise de dados; e (ii) as consultas que os utilizam envolvem também operações de ordenação, embora a ordem seja um conceito não associado à teoria relacional. A segunda contribuição da tese aborda esses dois problemas, tratando os operadores de junção por similaridade existentes como casos particulares de um conjunto mais amplo de operadores binários, para o qual foi definido o conceito de Wide-joins. Os operadores wide-joins recuperam os pares mais similares em geral e incorporam a ordenação como uma operação interna ao processamento, de forma compatível com a teoria relacional e que permite restringir a cardinalidade dos resultados a tuplas de maior interesse para as aplicações. Os experimentos realizados mostram que os wide-joins são rápidos o suficiente para serem usados em aplicações reais, retornam resultados de qualidade melhor do que os métodos concorrentes e são mais adequados para execução num ambiente relacional do que os operadores de junção por similaridade tradicionais. / Joins are important Relational Algebra operators. They pair tuples from two relations that meet a given comparison condition between the attribute values. When the evaluation compares the similarity among the values, the operator is called a Similarity Join. This operator has application to a variety of contexts, such as supporting data mining tasks and data analysis in general, and near-duplicate detection, data cleaning and string matching in particular. Among the existing types of similarity joins, the range join is the most explored one in the literature. However, it has several shortcomings, such as the diculty to find adequate similarity thresholds. In such context, the k-nearest neighbors join (kNN join) is considered more intuitive, and therefore more useful than the range join. However, the kNN join execution is computationally well more expensive, thus demanding implementations either based on nested loop techniques, which are generic, or on optimizing techniques but that are specific data given domains. In order to accelerate and generalize kNN join execution, the first contribution of this thesis was the development of the QuickNearest algorithm, based on the divide and conquest approach that is independent of the data domain, independent of the distance function used, and that computes kNN joins very eciently. Experiments performed with the QuickNearest algorithm show that it is up to four orders of magnitude faster than current methods. Nevertheless, using similarity join operators in relational environments remains generally troublesome, due to two main reasons: (i) the result often has a cardinality much larger than what is actually needed or expected by most of the data analysis applications; and (ii) queries that use them almost always also require sorting operations, but order concept is not present in the relational theory. The second contribution of the thesis addresses these two problems through the definition of the concept of Wide-joins, which turns the existing similarity join operators just as particular cases of a more powerful set of binary operators. Awide-join operator retrieves the pairs most similar in general and already incorporates ordering as an internal operation to its processing, what makes it fully compatible with the relational theory. The concept also provides powerful ways to restrict the result cardinality just to tuples really meaningful for the applications. In fact, the experiments have also shown that wide-joins are fast enough to be useful for real applications, they return results of better quality than competing methods, and are more suitable for execution in a relational environment than the traditional similarity join operators.