Spelling suggestions: "subject:"função espacial distribuídas"" "subject:"função espacial distribuídos""
1 |
DistJoin: plataforma de processamento distribuído de operações de junção espacial com bases de dados dinâmicas / DistJoin: platform for distributed processing of spatial join operations with dynamic datasetsOliveira, Sávio Salvarino Teles de 28 June 2013 (has links)
Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2014-10-09T12:30:33Z
No. of bitstreams: 2
Dissertação - Savio Salvarino Teles de Oliveira - 2013.pdf: 6348358 bytes, checksum: 12e62cd925367772158d94e466de5827 (MD5)
license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2014-10-09T14:44:35Z (GMT) No. of bitstreams: 2
Dissertação - Savio Salvarino Teles de Oliveira - 2013.pdf: 6348358 bytes, checksum: 12e62cd925367772158d94e466de5827 (MD5)
license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2014-10-09T14:44:35Z (GMT). No. of bitstreams: 2
Dissertação - Savio Salvarino Teles de Oliveira - 2013.pdf: 6348358 bytes, checksum: 12e62cd925367772158d94e466de5827 (MD5)
license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5)
Previous issue date: 2013-06-28 / Fundação de Apoio à Pesquisa - FUNAPE / Geographic Information Systems (GIS) have received increasing attention in research institutes
and industry in recent years. A Spatial Database Managament System (SDBMS)
is one of the main components of a GIS and spatial join is one of the most important
operations in SDBMS. Spatial join involves the relationship between two datasets, combining
the geometries according some spatial predicate, such as intersection. Due to the
increasing availability of spatial data, the growing number of GIS users, and the high
cost of the processing of spatial operations, distributed SGBDEs (SGBDED) have been
proposed as a good option to efficiently process spatial join on a cluster. This distributed
processing brings some challenges, such as the data distribution and parallel and distributed
processing of spatial join. This paper presents a platform for parallel and distributed
processing of spatial joins in a cluster using data distribution techniques for dynamic
datasets. Studies in the literature have explored data distribution techniques for
static datasets, where any update requires data redistribution. This becomes unfeasible
when using large datasets with frequent updates. Therefore, this paper proposes two new
data distribution techniques for dynamic datasets: Proximity Area and Grid Proximity
Area. These techniques have been evaluated to determine which scenarios each technique
is more appropriate for. For this purpose, these techniques are evaluated in a real environment
using datasets with different characteristics. Therefore, it is possible to evaluate the
spatial join operation in real scenarios with each technique. / Os Sistemas de Informação Geográfica (SIG) têm recebido cada vez mais destaque nos
institutos de pesquisa e na indústria nos últimos anos. Um Sistema de Gerência de Bancos
de Dados Espaciais (SGBDE) é um dos principais componentes de um SIG e a junção
espacial uma das operações mais importantes nos SGBDEs. Ela envolve o relacionamento
entre duas bases de dados, combinando as geometrias de acordo com algum predicado
espacial, como intersecção. Devido à crescente disponibilidade de dados espaciais, ao
aumento no número de usuários dos SIGS e ao alto custo de processamento das operações
espaciais, os SGBDE distribuídos (SGBDED) surgem com uma boa opção para processar
a junção espacial de forma eficiente em um cluster de computadores. Esse processamento
distribuído traz consigo alguns desafios, tais como a distribuição dos dados pelo cluster
e o processamento paralelo e distribuído da junção espacial. O objetivo deste trabalho é
apresentar uma plataforma de geoprocessamento paralelo e distribuído da junção espacial
em um cluster de computadores, utilizando técnicas de distribuição de dados para bases
de dados dinâmicas. Os trabalhos encontrados na literatura têm explorado técnicas de
distribuição de dados indicadas para bases de dados estáticas, onde qualquer atualização
da base de dados requer que todos os dados sejam novamente distribuídos pelo cluster.
Isto se torna inviável com grandes bases de dados e que sofrem constantes atualizações.
Por isso, este trabalho propõe duas novas técnicas de distribuição de dados com bases de
dados dinâmicas: Proximity Area e Grid Proximity Area. Estas técnicas foram avaliadas
para definir em quais cenários cada uma delas é mais apropriada. Para tal, estas técnicas
foram avaliadas em um ambiente real com bases de dados com características diferentes,
para que fosse possível experimentar a junção espacial distribuída em cenários diversos
com cada técnica de distribuição de dados.
|
2 |
Efficient processing of multiway spatial join queries in distributed systems / Processamento eficiente de consultas de multi-junção espacial em sistemas distribuídosOliveira, Thiago Borges de 29 November 2017 (has links)
Submitted by Franciele Moreira (francielemoreyra@gmail.com) on 2017-12-12T16:13:05Z
No. of bitstreams: 2
Tese - Thiago Borges de Oliveira - 2017.pdf: 1684209 bytes, checksum: f64b32084ca6b13a58109e4d2cffe541 (MD5)
license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2017-12-13T09:33:57Z (GMT) No. of bitstreams: 2
Tese - Thiago Borges de Oliveira - 2017.pdf: 1684209 bytes, checksum: f64b32084ca6b13a58109e4d2cffe541 (MD5)
license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2017-12-13T09:33:57Z (GMT). No. of bitstreams: 2
Tese - Thiago Borges de Oliveira - 2017.pdf: 1684209 bytes, checksum: f64b32084ca6b13a58109e4d2cffe541 (MD5)
license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5)
Previous issue date: 2017-11-29 / Multiway spatial join is an important type of query in spatial data processing, and its
efficient execution is a requirement to move spatial data analysis to scalable platforms
as has already happened with relational and unstructured data. In this thesis, we provide
a set of comprehensive models and methods to efficiently execute multiway spatial join
queries in distributed systems. We introduce a cost-based optimizer that is able to select a
good execution plan for processing such queries in distributed systems taking into account:
the partitioning of data based on the spatial attributes of datasets; the intra-operator level
of parallelism, which enables high scalability; and the economy of cluster resources by
appropriately scheduling the queries before execution. We propose a cost model based on
relevant metadata about the spatial datasets and the data distribution, which identifies the
pattern of costs incurred when processing a query in this environment. We formalized the
distributed multiway spatial join plan scheduling problem as a bi-objective linear integer
model, considering the minimization of both the makespan and the communication cost
as objectives. Three methods are proposed to compute schedules based on this model
that significantly reduce the resource consumption required to process a query. Although
targeting multiway spatial join query scheduling, these methods can be applied to other
kinds of problems in distributed systems, notably problems that require both the alignment
of data partitions and the assignment of jobs to machines. Additionally, we propose a
method to control the usage of resources and increase system throughput in the presence
of constraints on the network or processing capacity. The proposed cost-based optimizer
was able to select good execution plans for all queries in our experiments, using public
datasets with a significant range of sizes and complex spatial objects. We also present an
execution engine that is capable of performing the queries with near-linear scalability with
respect to execution time. / A multi-junção espacial é um tipo importante de consulta usada no processamento de
dados espaciais e sua execução eficiente é um requisito para mover a análise de dados
espaciais para plataformas escaláveis, assim como aconteceu com dados relacionais e não
estruturados. Nesta tese, propomos um conjunto de modelos e métodos para executar eficientemente
consultas de multi-junção espacial em sistemas distribuídos. Apresentamos um
otimizador baseado em custos que seleciona um bom plano de execução levando em consideração:
o particionamento de dados com base nos atributos espaciais dos datasets; o nível
de paralelismo intra-operador que proporciona alta escalabilidade; e o escalonamento das
consultas antes da execução que resulta em economia de recursos computacionais. Propomos
um modelo de custo baseado em metadados dos datasets e da distribuição de dados,
que identifica o padrão de custos incorridos no processamento de uma consulta neste ambiente.
Formalizamos o problema de escalonamento de planos de execução da multi-junção
espacial distribuída como um modelo linear inteiro bi-objetivo, que minimiza tanto o custo
de processamento quanto o custo de comunicação. Propomos três métodos para gerar escalonamentos
a partir deste modelo, os quais reduzem significativamente o consumo de
recursos no processamento das consultas. Embora projetados para o escalonamento da
multi-junção espacial, esses métodos podem também ser aplicados a outros tipos de problemas
em sistemas distribuídos, que necessitam do alinhamento de partições de dados
e da distribuição de tarefas a máquinas de forma balanceada. Além disso, propomos um
método para controlar o uso de recursos e aumentar a vazão do sistema na presença de
restrições nas capacidades da rede ou de processamento. O otimizador proposto foi capaz
de selecionar bons planos de execução para todas as consultas em nossos experimentos, as
quais usaram datasets públicos com uma variedade significativa de tamanhos e de objetos
espaciais complexos. Apresentamos também uma máquina de execução, capaz de executar
as consultas com escalabilidade próxima de linear em relação ao tempo de execução.
|
Page generated in 0.0635 seconds