A trend in parallel computer architecture is that systems with a large shared memory are becoming more and more popular. A shared memory system can be either a uniform memory architecture (UMA) or a cache coherent non-uniform memory architecture (cc-NUMA). In the present thesis, the performance of parallel PDE solvers on cc-NUMA computers is studied. In particular, we consider the shared namespace programming model, represented by OpenMP. Since the main memory is physically, or geographically distributed over several multi-processor nodes, the latency for local memory accesses is smaller than for remote accesses. Therefore, the geographical locality of the data becomes important. The focus of the present thesis is to study multithreaded PDE solvers on cc-NUMA systems, in particular their memory access pattern with respect to geographical locality. The questions posed are: (1) How large is the influence on performance of the non-uniformity of the memory system? (2) How should a program be written in order to reduce this influence? (3) Is it possible to introduce optimizations in the computer system for this purpose? The main conclusion is that geographical locality is important for performance on cc-NUMA systems. This is shown experimentally for a broad range of PDE solvers as well as theoretically using a model involving characteristics of computer systems and applications. Geographical locality can be achieved through migration directives that are inserted by the programmer or — possibly in the future — automatically by the compiler. On some systems, it can also be accomplished by means of transparent, hardware initiated migration and replication. However, a necessary condition that must be fulfilled if migration is to be effective is that the memory access pattern must not be "speckled", i.e. as few threads as possible shall make accesses to each memory page. We also conclude that OpenMP is competitive with MPI on cc-NUMA systems if care is taken to get a favourable data distribution.

O problema de lidar com a mobilidade dos usuários existe desde que os dispositivos móveis se tornaram capazes de lidar com conteúdo multimídia e ainda é um dos desafios mais relevantes na área de redes de computadores. A arquitetura de Internet convencional é inadequada em lidar com um número cada vez maior de dispositivos móveis que estão tanto consumindo quanto produzindo conteúdo. Named Data Networking (NDN) é uma arquitetura de rede que pode potencialmente superar este desafio de mobilidade. Ela suporta a mobilidade do consumidor nativamente, mas não oferece o mesmo nível de suporte para a mobilidade de conteúdo. A mobilidade de conteúdo exige garantir que os consumidores consigam encontrar e recuperar o conteúdo desejado mesmo quando o produtor correspondente (ou o hospedeiro principal) não estiver disponível. Nesta tese, propomos o PDRM (Proactive Data Replication Mechanism), um mecanismo de replicação de dados proativo e consciente de localização, que aumenta a disponibilidade de conteúdo através da redundância de dados no contexto da arquitetura NDN. Ele explora os recursos disponíveis dos usuários finais na vizinhança para melhorar a disponibilidade de conteúdo, mesmo no caso da mobilidade do produtor. Ao longo da tese, discutimos o projeto do PDRM, avaliamos o impacto do número de provedores disponíveis na vizinhança e a capacidade de cache na rede em sua operação e comparamos seu desempenho com NDN padrão e duas propostas do estado-da-arte. A avaliação indica que o PDRM melhora o suporte à mobilidade de conteúdo devido ao uso de informações de popularidade dos objetos e recursos extras na vizinhança para ajudar a replicação pró-ativa. Os resultados mostram que o PDRM pode reduzir os tempos de download até 53,55%, o carregamento do produtor até 71,6%, o tráfego entre domínios até 46,5% e a sobrecarga gerada até 25% em comparação com NDN padrão e os demais mecanismos avaliados. / The problem of handling user mobility has been around since mobile devices became capable of handling multimedia content and is still one of the most relevant challenges in networking. The conventional Internet architecture is inadequate in dealing with an ever-growing number of mobile devices that are both consuming and producing content. Named Data Networking (NDN) is a network architecture that can potentially overcome this mobility challenge. It supports consumer mobility by design but fails to offer the same level of support for content mobility. Content mobility requires guaranteeing that consumers manage to find and retrieve desired content even when the corresponding producer (or primary host) is not available. In this thesis, we propose PDRM, a Proactive and locality-aware Data Replication Mechanism that increases content availability through data redundancy in the context of the NDN architecture. It explores available resources from end-users in the vicinity to improve content availability even in the case of producer mobility. Throughout the thesis, we discuss the design of PDRM, evaluate the impact of the number of available providers in the vicinity and in-network cache capacity on its operation, and compare its performance to Vanilla NDN and two state-of-the-art proposals. The evaluation indicates that PDRM improves content mobility support due to using object popularity information and spare resources in the vicinity to help the proactive replication. Results show that PDRM can reduce the download times up to 53.55%, producer load up to 71.6%, inter-domain traffic up to 46.5%, and generated overhead up to 25% compared to Vanilla NDN and other evaluated mechanisms.

O problema de lidar com a mobilidade dos usuários existe desde que os dispositivos móveis se tornaram capazes de lidar com conteúdo multimídia e ainda é um dos desafios mais relevantes na área de redes de computadores. A arquitetura de Internet convencional é inadequada em lidar com um número cada vez maior de dispositivos móveis que estão tanto consumindo quanto produzindo conteúdo. Named Data Networking (NDN) é uma arquitetura de rede que pode potencialmente superar este desafio de mobilidade. Ela suporta a mobilidade do consumidor nativamente, mas não oferece o mesmo nível de suporte para a mobilidade de conteúdo. A mobilidade de conteúdo exige garantir que os consumidores consigam encontrar e recuperar o conteúdo desejado mesmo quando o produtor correspondente (ou o hospedeiro principal) não estiver disponível. Nesta tese, propomos o PDRM (Proactive Data Replication Mechanism), um mecanismo de replicação de dados proativo e consciente de localização, que aumenta a disponibilidade de conteúdo através da redundância de dados no contexto da arquitetura NDN. Ele explora os recursos disponíveis dos usuários finais na vizinhança para melhorar a disponibilidade de conteúdo, mesmo no caso da mobilidade do produtor. Ao longo da tese, discutimos o projeto do PDRM, avaliamos o impacto do número de provedores disponíveis na vizinhança e a capacidade de cache na rede em sua operação e comparamos seu desempenho com NDN padrão e duas propostas do estado-da-arte. A avaliação indica que o PDRM melhora o suporte à mobilidade de conteúdo devido ao uso de informações de popularidade dos objetos e recursos extras na vizinhança para ajudar a replicação pró-ativa. Os resultados mostram que o PDRM pode reduzir os tempos de download até 53,55%, o carregamento do produtor até 71,6%, o tráfego entre domínios até 46,5% e a sobrecarga gerada até 25% em comparação com NDN padrão e os demais mecanismos avaliados. / The problem of handling user mobility has been around since mobile devices became capable of handling multimedia content and is still one of the most relevant challenges in networking. The conventional Internet architecture is inadequate in dealing with an ever-growing number of mobile devices that are both consuming and producing content. Named Data Networking (NDN) is a network architecture that can potentially overcome this mobility challenge. It supports consumer mobility by design but fails to offer the same level of support for content mobility. Content mobility requires guaranteeing that consumers manage to find and retrieve desired content even when the corresponding producer (or primary host) is not available. In this thesis, we propose PDRM, a Proactive and locality-aware Data Replication Mechanism that increases content availability through data redundancy in the context of the NDN architecture. It explores available resources from end-users in the vicinity to improve content availability even in the case of producer mobility. Throughout the thesis, we discuss the design of PDRM, evaluate the impact of the number of available providers in the vicinity and in-network cache capacity on its operation, and compare its performance to Vanilla NDN and two state-of-the-art proposals. The evaluation indicates that PDRM improves content mobility support due to using object popularity information and spare resources in the vicinity to help the proactive replication. Results show that PDRM can reduce the download times up to 53.55%, producer load up to 71.6%, inter-domain traffic up to 46.5%, and generated overhead up to 25% compared to Vanilla NDN and other evaluated mechanisms.

Distributed real-time databases can be used to support data sharing for applications in wireless ad-hoc networks. In such networks, topology changes frequently and partitions may be unpredictable and last for an unbounded period. In this thesis, the existing database replication protocol PRiDe is extended to handle such long-lasting partitions. The protocol uses optimistic and detached replication to provide predictable response times in unpredictable networks and forward conflict resolution to guarantee progress. The extension, pPRiDe, combines update and state transfer strategies. Update transfer for intra-partition communication can reduce bandwidth usage and ease conflict resolution. State transfer for inter partition conflicts removes dependency on a common state between partitions prior to the merge to apply update messages on. This makes the resource usage independent of the life span of partitions. This independence comes at the cost of global data stability guarantees and pPRiDe can thus only provide per partition guarantees. The protocol supports application specific conflict resolution routines for both state and update conflicts. A basic simulator for mobile ad-hoc networks has been developed to validate that pPRiDe provides eventual consistency. pPRiDe shows that a hybrid approach to change propagation strategy can be beneficial in networks where collaboration by data sharing within long lasting partitions and predictable resource usage is necessary. These types of systems already require the conflict management routines necessary for pPRiDe and can benefit from an existing protocol. In addition to pPRiDe and the simulator this thesis provides a flexible object database suitable for future works and an implementation of PRiDe on top of that database.

A modelagem evolutiva de bancos de dados é necessária devido às frequentes mudanças de requisitos das aplicações. O desafio é ainda maior quando o banco de dados tem de atender simultaneamente a várias aplicações. A solução proposta por Scott Ambler para evolução utiliza refatorações e define um período de transição, durante o qual tanto o esquema antigo quanto o novo coexistem e os dados são replicados por meio de um processo síncrono que apresenta várias dificuldades, como a interferência no funcionamento normal das aplicações. Para minimizar essas dificuldades, esta tese propõe um processo assíncrono para manter atualizados esses esquemas e apresenta um protótipo de uma ferramenta para auxiliar as evoluções dos bancos de dados. A proposta foi validada por meio de um experimento em laboratório que comparou a solução aqui apresentada com a proposta por Ambler. / Evolutionary database modeling is necessary due to the frequent changes in application requirements. The challenge is greater when the database must support multiple applications simultaneously. The solution for evolution proposed by Scott Ambler is refactoring with a transition period, during which both the old and the new database schemas coexist and data is replicated via a synchronous process, what brings several difficulties, such as interference with the normal operation of applications. To minimize these difficulties, this thesis proposes an asynchronous process to keep these schemas updated and presents a prototype tool to evolve databases. The proposal was validated by a laboratory experiment in which the solution presented here was compared with the one proposed by Ambler.

O problema de lidar com a mobilidade dos usuários existe desde que os dispositivos móveis se tornaram capazes de lidar com conteúdo multimídia e ainda é um dos desafios mais relevantes na área de redes de computadores. A arquitetura de Internet convencional é inadequada em lidar com um número cada vez maior de dispositivos móveis que estão tanto consumindo quanto produzindo conteúdo. Named Data Networking (NDN) é uma arquitetura de rede que pode potencialmente superar este desafio de mobilidade. Ela suporta a mobilidade do consumidor nativamente, mas não oferece o mesmo nível de suporte para a mobilidade de conteúdo. A mobilidade de conteúdo exige garantir que os consumidores consigam encontrar e recuperar o conteúdo desejado mesmo quando o produtor correspondente (ou o hospedeiro principal) não estiver disponível. Nesta tese, propomos o PDRM (Proactive Data Replication Mechanism), um mecanismo de replicação de dados proativo e consciente de localização, que aumenta a disponibilidade de conteúdo através da redundância de dados no contexto da arquitetura NDN. Ele explora os recursos disponíveis dos usuários finais na vizinhança para melhorar a disponibilidade de conteúdo, mesmo no caso da mobilidade do produtor. Ao longo da tese, discutimos o projeto do PDRM, avaliamos o impacto do número de provedores disponíveis na vizinhança e a capacidade de cache na rede em sua operação e comparamos seu desempenho com NDN padrão e duas propostas do estado-da-arte. A avaliação indica que o PDRM melhora o suporte à mobilidade de conteúdo devido ao uso de informações de popularidade dos objetos e recursos extras na vizinhança para ajudar a replicação pró-ativa. Os resultados mostram que o PDRM pode reduzir os tempos de download até 53,55%, o carregamento do produtor até 71,6%, o tráfego entre domínios até 46,5% e a sobrecarga gerada até 25% em comparação com NDN padrão e os demais mecanismos avaliados. / The problem of handling user mobility has been around since mobile devices became capable of handling multimedia content and is still one of the most relevant challenges in networking. The conventional Internet architecture is inadequate in dealing with an ever-growing number of mobile devices that are both consuming and producing content. Named Data Networking (NDN) is a network architecture that can potentially overcome this mobility challenge. It supports consumer mobility by design but fails to offer the same level of support for content mobility. Content mobility requires guaranteeing that consumers manage to find and retrieve desired content even when the corresponding producer (or primary host) is not available. In this thesis, we propose PDRM, a Proactive and locality-aware Data Replication Mechanism that increases content availability through data redundancy in the context of the NDN architecture. It explores available resources from end-users in the vicinity to improve content availability even in the case of producer mobility. Throughout the thesis, we discuss the design of PDRM, evaluate the impact of the number of available providers in the vicinity and in-network cache capacity on its operation, and compare its performance to Vanilla NDN and two state-of-the-art proposals. The evaluation indicates that PDRM improves content mobility support due to using object popularity information and spare resources in the vicinity to help the proactive replication. Results show that PDRM can reduce the download times up to 53.55%, producer load up to 71.6%, inter-domain traffic up to 46.5%, and generated overhead up to 25% compared to Vanilla NDN and other evaluated mechanisms.

The recent advances in hardware technologies - i.e. highly scalable multi-core NUMA architectures and non-volatile random-access memory (NVRAM) - lead to significant changes in the architecture of in-memory database systems. The novel memory type allows persistent writes while featuring DRAM-like characteristics - byte addressability, high bandwidth, and low access latencies. It is likely to complement or replace the block-based secondary storage (e.g., HDDs or SSDs) for storing the primary data of the DBMS. Therefore, the next generation of highly-performant scalable database systems will rely on single-level hybrid memory (e.g., compound exclusively of DRAM and NVRAM) NUMA architectures and is expected to keep the primary data solely persistent in NVRAM, while query processing could be executed on both mediums. Unfortunately, NVRAM faces certain drawbacks such as a lower write endurance, lower bandwidth, higher latencies, and - most importantly - an increased error-proneness compared to DRAM. Thus, efficient minimal-overhead data protection mechanisms have to be deployed in the underlined architectures to avoid primary data losses. This thesis provides an analytical overview of such envisioned hybrid memory database systems, gives a survey of reliability techniques that are generally deployed in computing systems, identifies their strengths and weaknesses when used in hybrid memory databases. As a result, this work proposes effective adoption and optimization primitives for the software-managed data replication as the most applicable resilience approach. In particular, research focus is given to runtime and space (and, therefore, NVRAM wear-out) reduction of the replication overheads, while preserving strong resilience guaranties and instant recovery opportunities. Subsequently, this thesis proposes a rich set of techniques that leverage data replication for query processing needs to achieve high performance, allocation flexibility and effective hardware utilization in modern commodity scale-up systems.

Atualmente muitas instituições mantêm coleções de espécimes biológicas, e através de ferramentas computacionais digitalizam e disponibilizam seus dados para acesso através de portais de dados de biodiversidade. Um exemplo deste tipo de ferramenta é o portal de espécimes utilizado pelo GBIF (Global Biodiversity Information Facility), que centraliza em suas bases de dados milhões de registros, provenientes de instituições de diferentes localizações. A replicação das bases de dados locais nos portais é realizada através da utilização de protocolos (DiGIR / TAPIR) e esquemas de dados (DarwinCore). Entretanto a execução desta solução demanda uma grande quantidade de tempo, englobando tanto a transferência dos fragmentos de dados como o processamento dos mesmos dentro do portal. Com o crescimento da digitalização de dados dentro das instituições, este cenário tende a ser agravado cada vez mais, dificultando assim a manutenção de dados sempre atualizados dentro dos portais. Esta pesquisa propõe uma análise do processo de replicação de dados com objetivo de avaliar seu desempenho. Para isto é utilizado o portal de biodiversidade de polinizadores da IABIN como estudo de caso, o qual possui, além da replicação de dados convencionais o suporte a dados de interação. Com os resultados desta pesquisa é possível simular situações antes da efetivação das mesmas, prevendo assim qual será o seu desempenho. Adicionalmente estes resultados podem contribuir para melhorias futuras deste processo, visando a diminuição do tempo necessário da disponibilização dos dados dentro de portais de biodiversidade. / Currently many institutions keep collections of biological specimens, and through computational tools they digitalize and provide access to their data through biodiversity data portals. An example of this tool is the specimens portal used by GBIF (Global Biodiversity Information Facility), which focuses on its databases millions of records from different institutions around the world. The replication of databases in those portals is accomplished through the use of protocols (DiGIR / TAPIR) and data schemas (DarwinCore). However the implementation of this solution demands a large amount of time, encompassing both, the transfer of fragments of data as processing data within the portal. With the growth of data digitalization within the institutions, this scenario tends to be increasingly exacerbated, making it hard to maintenance the records up to date within the portals. This research proposes analyze the replication process data to evaluate its performance. To reach this objective is used the IABIN biodiversity portal of pollinators as study case, which support both situations: the conventional data and the interaction data replication. With the results of this research is possible to simulate situations before its execution, thus predicting what will be its performance. Additionally these results may contribute to future improvements of this process; in order to decrease the time required to make the data available in the biodiversity portals.

Atualmente muitas instituições mantêm coleções de espécimes biológicas, e através de ferramentas computacionais digitalizam e disponibilizam seus dados para acesso através de portais de dados de biodiversidade. Um exemplo deste tipo de ferramenta é o portal de espécimes utilizado pelo GBIF (Global Biodiversity Information Facility), que centraliza em suas bases de dados milhões de registros, provenientes de instituições de diferentes localizações. A replicação das bases de dados locais nos portais é realizada através da utilização de protocolos (DiGIR / TAPIR) e esquemas de dados (DarwinCore). Entretanto a execução desta solução demanda uma grande quantidade de tempo, englobando tanto a transferência dos fragmentos de dados como o processamento dos mesmos dentro do portal. Com o crescimento da digitalização de dados dentro das instituições, este cenário tende a ser agravado cada vez mais, dificultando assim a manutenção de dados sempre atualizados dentro dos portais. Esta pesquisa propõe uma análise do processo de replicação de dados com objetivo de avaliar seu desempenho. Para isto é utilizado o portal de biodiversidade de polinizadores da IABIN como estudo de caso, o qual possui, além da replicação de dados convencionais o suporte a dados de interação. Com os resultados desta pesquisa é possível simular situações antes da efetivação das mesmas, prevendo assim qual será o seu desempenho. Adicionalmente estes resultados podem contribuir para melhorias futuras deste processo, visando a diminuição do tempo necessário da disponibilização dos dados dentro de portais de biodiversidade. / Currently many institutions keep collections of biological specimens, and through computational tools they digitalize and provide access to their data through biodiversity data portals. An example of this tool is the specimens portal used by GBIF (Global Biodiversity Information Facility), which focuses on its databases millions of records from different institutions around the world. The replication of databases in those portals is accomplished through the use of protocols (DiGIR / TAPIR) and data schemas (DarwinCore). However the implementation of this solution demands a large amount of time, encompassing both, the transfer of fragments of data as processing data within the portal. With the growth of data digitalization within the institutions, this scenario tends to be increasingly exacerbated, making it hard to maintenance the records up to date within the portals. This research proposes analyze the replication process data to evaluate its performance. To reach this objective is used the IABIN biodiversity portal of pollinators as study case, which support both situations: the conventional data and the interaction data replication. With the results of this research is possible to simulate situations before its execution, thus predicting what will be its performance. Additionally these results may contribute to future improvements of this process; in order to decrease the time required to make the data available in the biodiversity portals.

Uma grade de dados (datagrid) é um ambiente computacional distribuído destinado a agregar e compartilhar recursos de armazenamento que estão geograficamente separados. As grades de dados provêm infra-estrutura e serviços para descoberta, transferência, manipulação e gerenciamento de grandes quantidades de dados armazenados em repositórios distribuídos. As grades de dados possuem características em comum com redes peer-to-peer, bancos de dados distribuídos e redes de distribuição de conteúdo (CDN). Muitas das políticas de replicação, substituição e busca utilizadas nestas redes são comuns com as de grades de dados. O foco deste trabalho é estudar a influência das políticas (replicação, substituição e busca), topologias de rede e interação entre políticas no desempenho para armazenamento, busca de arquivos, sobrevivência de réplicas e tráfego de rede. O estudo também considera as interações das diversas políticas com estrutura topológicas da rede e falhas em nós. A metodologia adotada para realizar avaliações no trabalho foi a simulação. Com o simulador foi possível concentrar os estudos nas relações entre as políticas e topologias de rede, evitando complexidade de uma grade como heterogeneidade de recursos. Nos resultados foram encontrados efeitos importantes de características topológicas em redes e sua interação com políticas utilizadas no desempenho da grade. / A datagrid is an distributed computing environment designed to aggregate and share storage resources that are geographically distant. Datagrids provides infrastructure and services for discovery, transfer, handling and managing large amounts of data stored in distributed repositories. The datagrids share characteristics with peer-to-peer networks, distributed databases and content distribution networks (CDN). Many of the replication, placement and search policies used in these networks are common with datagrids. The focus of this work is to study the influence of policies (replication, placement and search), network topologies and their interaction on the performance for storage, file searching, replica survival and network traffic. This research also considers the interactions of various policies with topologies of networks under node failures. The methodology adopted to carry out the evaluation in this work is the use of simulation. With a simulator it is possible to concentrate studies on the relationships between policies and network topologies, avoiding the complexity of a grid with heterogeneous resources. Results show significant effects on grid performance of topological features of the networks and its interaction with policies.