Este trabalho se inicia com uma discussão sobre as principais características dos Sistemas de Arquivos Distribuídos, ou seja, espaço de nomes, localização, cache, consistência, replicação, disponibilidade, escalabilidade, heterogeneidade, tolerância a falhas e segurança. Analisamos diversos sistemas de arquivos existentes quanto a estas características dando especial atenção aos sistemas NFS, Andrew, Coda, Sprite, Zebra, Harp, Frolic e Echo. Descrevemos alguns modelos analíticos para o comportamento de sistemas de arquivos distribuídos e, em seguida, apresentamos um novo modelo para sistemas baseados em leases - um mecanismo para a garantia de consistência em sistemas distribuídos. Finalmente, descrevemos a nossa implementação do sistema de arquivos distribuído SODA - que utiliza leases - apresentando dados sobre o seu desempenho. / We begin with a discussion of some of the main characteristics of Distributed File Systems, namely locality, name space, cache, consistency, replication, availability, scalability, heterogeneity, fault tolerance and security. We analyze several file systems based on these characteristics. We focus mainly on NFS, Andrew, Coda, Sprite, Zebra, Harp, Frolic, and Echo. We then describe some analytical models of the behavior of distributed file systems. After that we present a new model of systems based on leases - a mechanism to assure consistency on a distributed system. Finally we describe our implementation of the SODA distributed file system - which uses leases - presenting some results on its performance.

Este trabalho apresenta a implementação e a utilização da migração de processos SPMD (Single Program Multiple Data), a qual realiza somente a transferência dos dados, que estão sendo manipulados pelo processo, para realizar a migração. Seu principal objetivo foi o estudo do impacto do balanceamento de carga no desempenho de aplicações, desenvolvidas utilizando o modelo de programação SPMD. Depois de realizados testes com aplicações SPMD reais, em sistemas computacionais distribuídos utilizando a migração de processos SPMD, foi possível verificar que ganhos de desempenho podem ser alcançados, tanto na migração de processos quanto no tempo de execução de aplicações paralelas SPMD. / This research presents the implementation and use of the SPMD (Single Program Multiple Data) process migration, which only does the transference of the data that are being used by the process, to perform the process migration. Its main objective was the study of the load balancing impact in the performance of applications developed using the SPMD programming model. After performing the tests with real SPMD applications, in distributed computational systems using the SPMD process migration, it was achieved good performance gains, both in the process migration and in the time execution of applications SPMD parallel applications.

Orientador: Maurício Ferreira Magalhães / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-23T11:36:13Z (GMT). No. of bitstreams: 1 Villaca_RodolfodaSilva_D.pdf: 2446951 bytes, checksum: c6d907cab0de18a43fe707cae0e827a4 (MD5) Previous issue date: 2013 / Resumo: Atualmente, a quantidade de dados disponíveis na Internet supera a casa dos Zettabytes (ZB), definindo um cenário conhecido na literatura como Big Data. Embora as soluções de banco de dados tradicionais sejam eficientes na busca e recuperação de um conteúdo específico e exato, elas são ineficientes nesse cenário de Big Data, visto que não foram projetadas para isso. Outra dificuldade é que esses dados são essencialmente não-estruturados e encontram-se diluídos em toda a vastidão da Internet. Desta forma, novas soluções de infraestruturas de bancos de dados são necessárias de modo a suportar a busca e recuperação de dados similares de maneira não exata, configurando-se a busca por similaridade, isto é, busca por grupos de dados que compartilham entre si alguma semelhança. Nesse cenário, a proposta desta tese é explorar a similaridade de Hamming existente entre identificadores de objetos gerados através da função Random Hyperplane Hashing. Essa característica presente nesses identificadores servirá de base para propostas de infra-estruturas distribuídas de armazenamento de dados capazes de suportar eficientemente a busca por similaridade. Nesta tese serão apresentadas a Hamming DHT, uma solução P2P baseada em redes sobrepostas, e o HCube, uma solução baseada em servidores para Data Center. As avaliações de ambas as soluções são apresentadas e mostram que elas são capazes de reduzir as distâncias entre conteúdos similares em ambientes distribuídos, o que contribui para o aumento da cobertura em cenários de busca por similaridade / Abstract: Nowadays, the amount of data available on the Internet is over Zettabytes (ZB). Such condition defines a scenario known in the literature as Big Data. Although traditional database solutions are very efficient for finding and retrieving a specific content, they are inefficient on Big Data scenario, since the great majority of such data is unstructured and scattered across the Internet. In this way, new databases are required in order to support queries capable of finding and recovering similar datasets, i.e., retrieving groups of data that share a common meaning. In order to handle such challenging scenario, the proposal in this thesis is to explore the Hamming similarity existent between content identifiers that are generated using the Random Hyperplane Hashing function. Such identifiers provide the basis for building distributed infrastructures that facilitate the similarity search. In this thesis, we present two different approaches: a P2P solution named Hamming DHT, and a Data Center solution named HCube. Evaluations of both solutions are presented and indicate that such solutions are capable of reducing the distance between similar content, improving the recall in a similarity search / Doutorado / Engenharia de Computação / Doutor em Engenharia Elétrica

Este trabalho apresenta uma ferramenta de apoio ao desenvolvimento de aplicações distribuídas, baseadas em RPCs, para o ambiente Windows 95. Discute, ainda, algumas aplicações construídas para validar o sistema, as quais seguem o paradigma cliente-servidor. É feita uma revisão bibliográfica dos assuntos mais relevantes relacionados ao tema e apresentados os detalhes de implementação da ferramenta. Esta foi implementada com técnicas de orientação a objetos, sendo composta por um Gerador Automático de Stubs e uma Biblioteca RPC, além de possibilitar a utilização de um Serviço de Binding. As aplicações construídas procuram explorar as potencialidades da ferramenta, sendo fornecidas também orientações gerais para o desenvolvimento de aplicações distribuídas no ambiente Windows 95. / This work presents a tool to support the development of RPC-based distributed applications in the Windows 95 environment. It also discusses some applications built to validate the system, which follow the client-server model. A theoretical review of the most relevant topics related to the field is done and the tool’s implementation details are presented. This tool was implemented with object-oriented techniques and comprises an automatic Stub Generator and an RPC Library, together with a Binding Service. The distributed applications that were built try to explore the tool’s full potential. General guidelines regarding the development of distributed applications for the Windows 95 environment are also provided.

Existem várias linguagens e plataformas que permitem a programação baseada no modelo de atores, uma solução elegante para a programação concorrente proposta há algumas décadas. Segundo esse modelo, implementa-se o programa na forma de uma série de agentes que são executados em paralelo e se comunicam entre si somente por meio da troca de mensagens, sem a necessidade de memória compartilhada ou estruturas tradicionais de sincronização como semáforos e mutexes. Uma das áreas nas quais esse modelo seria particularmente adequado é a programação de aplicações web, isto é, aplicações cujas lógicas de negócios e de dados residem num servidor e que são acessadas pelo usuário por intermédio de um navegador. Porém, existem muitos obstáculos ao desenvolvimento de aplicações desse tipo, entre eles a falta de linguagens e ferramentas que permitam integrar tanto o servidor quanto o cliente (navegador) no modelo de atores, as dificuldades de conversões de dados que se fazem necessárias quando o servidor e o cliente são desenvolvidos em linguagens diferentes, e a necessidade de contornar as dificuldades inerentes aos detalhes do protocolo de comunicação (HTTP). O PAWEB é uma proposta de uma plataforma para o desenvolvimento e execução de aplicações web que fornece a infraestrutura necessária para que tanto o lado cliente quanto o lado servidor do aplicativo hospedado possam ser escritos numa mesma linguagem (Python), e possam criar e gerenciar atores que trocam mensagens entre si,tanto local quanto remotamente, de maneira transparente e sem a necessidade de implementar conversões de dados ou outros detalhes de baixo nível. / There are several programming languages and platforms that allow the development of systems based on the actor model, an elegant solution for concurrent programming proposed a few decades ago. According to this model, the program is implemented in the form of several agents that run concurrently and only communicate amongst themselves through the exchange of messages, without the need for shared memory or traditional synchronization structures such as semaphores and mutexes. One of the areas where this model would be particularly appropriate would be the development of web applications, that is, applications whose business and database logic reside on the server and are accessed by the user by means of a web browser. However, there are several obstacles to the development of this type of application, amongst them the lack of languages and tools that allow for the integration of both the server and the client (browser) into the actor model, data conversion difficulties arising from using different programming languages on the server and the client, and the need to circumvent the inherent difficulties posed by the details of the communications protocol (HTTP). PAWEB is a proposal for an application development and execution platform that supplies the infrastructure needed so that both the server and client sides of the hosted application can be written in the same language (Python) and so that they may create and manage actors that exchange messages with one another, both locally and remotely, in a transparent manner and without the need to implement data conversions or other low-level mechanisms.

Em aplicações distribuídas baseadas em agentes móveis, a coordenação das ações dos agentes móveis é uma tarefa complexa. A maior dificuldade é devido ao fato que agentes móveis podem mudar de endereço dinamicamente. Nesta dissertação, apresentamos o projeto e a implementação de um mecanismo de coordenação de agentes móveis que contorna este problema. Este mecanismo, que chamamos de Canal de Broadcast, está baseado na difusão de mensagens e possibilita que os membros de um grupo de agentes móveis interajam entre si, independentemente de suas localizações correntes. Modelos de coordenação existentes oferecem formas de interação entre agentes móveis, mas todos eles impõem alguma exigência. Ou os agentes móveis devem conhecer a localização de outros agentes, ou devem estar localizados no mesmo lugar ou devem migrar para um lugar específico. A principal vantagem deste mecanismo de coordenação está na total transparência de localização: as mensagens podem ser endereçadas a um conjunto de agentes móveis independentemente de sua localização corrente. Este mecanismo foi implementado no ASDK (Aglets Software Development Kit) da IBM e a sua utilidade foi demonstrada usando dois problemas típicos de coordenação em Sistemas Distribuídos: a Exclusão Mútua e o protocolo Manager-Workers. Testamos o desempenho do mecanismo e identificamos que o custo do Canal de Broadcast não é tão alto comparado aos benefícios que proporciona. Através deste mecanismo, os agentes móveis poderão executar as suas tarefas e interagir entre sí com o propósito da coordenação sem as exigências impostas por outros modelos de coordenação. / In distributed applications based on mobile agents, the coordination of mobile agents actions is a difficult task. The main difficulty comes from the fact that mobile agents can change their address dynamically. In this dissertation, we present the project and implementation of a mechanism for coordinating mobile agents that overcomes this problem. This mechanism, which we called Broadcast Channel, is based on the difusion of messages and enables the members of a mobile agent group to interact with each other independently of their current locations. Existing coodination models offer some means of interaction between mobile agents, but all of them impose some requirements. Either the mobile agents must know about each other's location, or must be located at the same place or must move to a specific place. The main advantage of our coordination mechanism is the full location transparency: the messages can be sent to a set of mobile agents independently of their current locations. This mechanism was implemented using IBM's ASDK (Aglets Software Development Kit) and its use was demonstrated using two typical coordination problems in Distributed Systems: the Mutual Exclusion and the Manager-Workers protocol. We tested the performance of the mechanism and identified that the cost of the Broadcast Channel is not too high, compared to the benefit it provides. Through this mechanism, the mobile agents can do their tasks and interact with each other for the purpose of coordination without the requirements imposed by other models.

Sistemas web de larga escala são distribuídos em milhares de servidores em múltiplos centros de processamento de dados em diferentes localizações geográficas, operando sobre redes de longa distância (WANs). Várias técnicas são usadas para atingir os altos níveis de escalabilidade requeridos por esses sistemas. Replicação de dados está entre as principais delas, e tem por objetivo diminuir a latência, aumentar a vazão e/ou aumentar a disponibilidade do sistema. O principal problema do uso de replicação em sistemas georeplicados é a dificuldade de garantir consistência entre as réplicas sem prejudicar consideravelmente o desempenho e a disponibilidade do sistema. O desempenho do sistema é afetado pelas latências da ordem de centenas de milissegundos da WAN, enquanto a disponibilidade é afetada por falhas que impedem a comunicação entre as réplicas. Quanto mais rígido o modelo de consistência de um sistema de armazenamento, mais simples é o desenvolvimento do sistema que o usa, mas menores são seu desempenho e disponibilidade. Entre os modelos de consistência mais relaxados e mais difundidos em sistemas web georeplicados está a consistência em momento indeterminado (eventual consistency). Esse modelo de consistência garante que em algum momento as réplicas convergem após as escritas terem cessado. Um modelo mais rígido e menos difundido é a consistência na linha do tempo. Esse modelo de consistência usa uma réplica mestre para garantir que não ocorram conflitos na escrita. Nas leituras, os clientes podem ler os valores mais recentes a partir da cópia mestre, ou optar explicitamente por ler valores possivelmente desatualizados para obter maior desempenho ou disponibilidade. A consistência na linha do tempo apresenta disponibilidade menor que a consistência em momento indeterminado em determinadas situações, mas não há dados comparando o desempenho de ambas. O objetivo principal deste trabalho foi a comparação do desempenho de sistemas de armazenamento georeplicados usando esses dois modelos de consistência. Para cada modelo de consistência, foram realizados experimentos que mediram o tempo de resposta do sistema sob diferentes cargas de trabalho e diferentes condições de rede entre centros de processamento de dados. O estudo mostra que um sistema usando consistência na linha do tempo apresenta desempenho semelhante ao mesmo sistema usando consistência em momento indeterminado em uma WAN quando a localidade dos acessos é alta. Esse comparativo pode auxiliar desenvolvedores e administradores de sistemas no planejamento de capacidade e de desenvolvimento de sistemas georeplicados. / Large scale web systems are distributed among thousands of servers spread over multiple data centers in geographically different locations operating over wide area networks (WANs). Several techniques are employed to achieve the high levels of scalability required by such systems. One of the main techniques is data replication, which aims to reduce latency, increase throughput and/or increase availability. The main drawback of replication in geo-replicated systems is that it is hard to guarantee consistency between replicas without considerably impacting system performance and availability. System performance is affected by WAN latencies, typically of hundreds of miliseconds, while system availability is affected by failures cutting off communication between replicas. The more rigid the consistency model provided by a storage system, the simpler the development of the system using it, but the lower its performance and availability. Eventual consistency is one of the more relaxed and most widespread consistency models among geo-replicated systems. This consistency model guarantees that all replicas converge at some unspecified time after writes have stopped. A model that is more rigid and less widespread is timeline consistency. This consistency model uses a master replica to guarantee that no write conflicts occur. Clients can read the most up-to-date values from the master replica, or they can explicitly choose to read stale values to obtain greater performance or availability. Timeline consistency has lower availability than eventual consistency in particular situations, but there are no data comparing their performance. The main goal of this work was to compare the performance of a geo-replicated storage system using these consistency models. For each consistency model, experiments were conducted to measure system response time under different workloads and network conditions between data centers. The study shows that a system using timeline consistency has similar performance than the same system using eventual consistency over a WAN when access locality is high. This comparative may help developers and system administrators on capacity and development planning of geo-replicated systems.

A realização de videoconferências sem o uso de equipamentos que possuam tecnologia proprietária ou sem o uso de redes não comerciais (como a Internet 2) ou com características não comuns (como o protocolo Multicast) tem se revelado um desafio para os estudiosos do assunto. Este trabalho apresenta uma proposta de solução desse problema demonstrando que é possível estabelecer-se uma videoconferência entre muitas salas sobre a Internet 1, com qualidade de serviço, usando equipamentos comerciais comuns de informática e sem sobrecarga da rede. Para isso, por intermédio da integração de duas tecnologias grid (AccessGrid e Grid Delivery), são propostas as bases de uma nova versão de Access Grid, chamado MPAG (MultiPeer Access Grid). / The development of videoconferencing without the use of equipments with customized technology or without commercial networks (like Internet 2) or without common characteristics (as Multicast, for instance) has appeared as a challenge to the subject researchers. This work presents a proposal of solution to this problem, showing that is possible to create a videoconference between many rooms under the Internet 1, with quality of service, using common commercial computing equipments and without overloading the network. For this, two technologies of grid (AccessGrid and Grid Delivery) have been integrated, proposing the basis of a new version of Access Grid, called MPAG (MultiPeer Access Grid).

Depurar sistemas distribuídos continua uma tarefa difícil, mesmo após 30 anos de pesquisa intensa. Embora essa situação possa ser parcialmente atribuída à complexidade das execuções concorrentes, o rápido passo de desenvolvimento das plataformas e tecnologias para computação distribuída também carrega a sua parcela de culpa, por encurtar a vida de muitas ferramentas potencialmente úteis. Neste trabalho, apresentamos uma análise dos principais problemas, técnicas e ferramentas ligados à depuração de sistemas concorrentes e discutidos na literatura. Baseados nessa análise, desenvolvemos e apresentamos uma nova técnica, simples e portátil, que pode ser aplicada a sistemas distribuídos que utilizam chamadas síncronas e bloqueantes. Essa técnica, concebida para sobreviver à heterogeneidade, é validada por meio da implementação de um arcabouço escrito para plataforma Eclipse e instanciado para sistemas de objetos distribuídos baseados em Java/CORBA. / After over thirty years of intense research, debugging distributed systems is still regarded as a difficult task. While this situation could be partially blamed on the fact that concurrent executions are complex, the fast pace of evolution witnessed with distributed computing technologies have also played its by shortening the lifespan of many potentially useful debugging tools. This work presents an analysis of the main issues, techniques and tools in the field of parallel, distributed, and concurrent debugging in general. Based on this analysis, we develop and present a simple and portable technique targeted at synchronous-call-based distributed systems. This technique, designed for portability, is validated through the implementation of an Eclipse-based framework that is instantiated for Java/CORBA distributed object systems.

Esta tese de doutorado tem como objetivo principal, a proposta de um sistema onde é possível avaliar abordagens diferentes para composição automática de Web services, baseando-se em parâmetros de QoS que dependem da execução para serem medidos. O objetivo foi atingido por meio da implementação de um sistema denominado AWSCS (Automatic Web Service Composition System). O AWSCS é um sistema onde é possível implementar abordagens diferentes para composição automática de Web services e também executar os fluxos resultantes dessas abordagens. Com o objetivo de demonstrar os resultados desta tese de doutorado, foram elaborados cenários, onde fluxos empíricos foram construídos para fazer a demonstração do funcionamento do AWSCS, uma vez que algoritmos para composição automática não foram encontrados para download na literatura. Com os resultados foi possível fazer um estudo do comportamento da execução de fluxos de Web services compostos, quando fluxos com mesma funcionalidade, mas estratégias de solução do problema diferentes foram comparados. Além disso, foi possível observar a influência das cargas aplicadas no sistema em execução, uma vez que o tipo de carga submetida ao sistema é um fator importante para se definir qual abordagem para composição de Web services pode levar ao melhor desempenho, de acordo com o ambiente e tipos de cargas que ele vai receber, quando em produção. / This PhD thesis has as main goal the propose of a system where it is possible to evaluate different approaches for automatic composition ofWeb services, based on QoS parameters that depend on the execution to be measured. The goal was reached by means of the implementation of a system named AWSCS (Automatic Web Service Composition System). The AWSCS is a system where it is possible to implement different approaches for automatic composition of Web services and also to execute the resulting flows from these approaches. Aiming at demonstrating the results of this PhD thesis different scenarios were developed, where empirical flows were built to demonstrate the operation of AWSCS, once algorithms for automatic composition were not found to download in the literature,. With the results it was possible to study the behavior of running composite Web services, when flows with the same functionality but different problem-solving strategies were compared. Furthermore it was possible to observe the influence of the load applied on the running system once the type of load submitted to the system is an important factor to define which approach for the Web service composition can take to the best performance according to the environment and types of load it will receive when in production.