A necessidade de poder computacional é crescente nas mais diversas áreas de atuação humana, tanto na indústria como no ambiente acadêmico. A Computação em Grade permite a interligação de recursos computacionais dispersos de maneira a permitir sua utilização mais efetiva, provendo aos usuários acesso simplificado ao poder computacional de diversas máquinas. Entretanto, os primeiros projetos de Computação em Grade objetivavam a interligação de máquinas paralelas ou aglomerados de alto desempenho e alto custo, acessível apenas a poucas instituições. Em contraponto ao alto custo das máquinas paralelas, os computadores pessoais se difundiram de maneira extraordinária nos últimos quinze anos. A expansão da base instalada foi acompanhada de uma crescente evolução na capacidade de tais máquinas. Os aglomerados dedicados de computadores pessoais representam a primeira tentativa de utilização de tais recursos para computação paralela e, apesar de serem amplamente utilizados, ainda requerem um investimento significativo. Entretanto, as mesmas instituições que adquirem tais aglomerados dedicados normalmente possuem centenas ou até milhares de computadores pessoais, os quais têm sua capacidade utilizada apenas parcialmente, resultando em grande ociosidade dos recursos. Os sistemas de Computação em Grade Oportunistas fornecem a possibilidade de se utilizar a base instalada de computadores pessoais de maneira a realizar computação utilizando a parte dos recursos que, de outra forma, estariam ociosos. Diversos sistemas dessa categoria foram desenvolvidos e utilizados com êxito para realizar tarefas de computação em diversas áreas como astronomia, biologia e matemática. O InteGrade, sistema de Computação em Grade Oportunista aqui apresentado, pretende oferecer características inovadoras para sistemas oportunistas, como suporte a aplicações paralelas que demandam comunicação entre nós e a utilização de coleta e análise de padrões de uso das máquinas da Grade, de maneira a permitir que se realize previsões sobre a disponibilidade das máquinas, permitindo uma utilização mais eficiente das mesmas. Além disso, o InteGrade emprega amplamente o paradigma de Orientação a Objetos, tanto na definição da arquitetura do sistema quanto na sua implementação. O trabalho aqui apresentado consistiu no estudo de outros projetos de Computação em Grade, na definição de uma arquitetura inicial para o InteGrade, passando pela descrição de seus principais módulos assim como sua implementação. Além disso, também descrevemos o projeto e a implementação de uma biblioteca para programação paralela no InteGrade utilizando o modelo BSP. / The past years witnessed a substantial increase in the need for computing power in various fields of human activity, including many industrial and academic endeavors. Grid Computing addresses those needs, providing seamless access to distributed computing resources, allowing one to use the combined computing power of various machines. However, the majority of the earlier Grid Computing systems focused on connecting high performance computers, which are very expensive resources only accessible to a small number of institutions. Contrasting with high cost parallel computing, personal computing experienced a tremendous growth in the last fifteen years. Personal computers are ubiquitous, cheap, and extremely powerful. The increase in processing power motivated the creation of dedicated PC clusters, allowing one to perform high performance computing tasks at a fraction of the price of a traditional parallel machine. Although cheaper, building a cluster still requires a considerable investment. At the same time, institutions that rely on the processing power of dedicated clusters typically own a large number of personal computers that are idle for most of the time, resulting in a loss of computing power that could otherwise be used for computing tasks. Opportunistic Grid Computing systems allow the use of the idle computing power of personal computers to perform useful computation. Many Opportunistic systems were successfully employed to solve problems in areas such as astronomy, biology, and mathematics. InteGrade, an Opportunistic Grid Computing system developed in the context of this thesis, aims to provide features not commonly available in other Opportunistic systems, such as support for parallel applications that require communication among application nodes, and usage pattern collection and analysis, which will allow for better scheduling decisions by providing predictions about future resource availability. InteGrade is a fully object oriented system, featuring both object oriented architecture and implementation. The work presented in this thesis includes a survey of existing Grid Computing systems and the definition of the InteGrade initial architecture, including the specification and implementation of various software modules. We also present the design and implementation of a parallel programming library that implements the BSP computing model, which allows one to write parallel applications that execute on InteGrade.

Esta tese de doutorado apresenta investigações, modelos e implementações de um middleware para grades computacionais denominado Grid Anywhere. Essa plataforma tem como objetivo viabilizar a construção de grades computacionais que permitam um maior número de provedores e consumidores de recursos. Para isso, são apresentadas soluções para gerenciamento de segurança, carregamento de aplicações, hospedagem de objetos, execução remota de métodos, desenvolvimento de aplicações e transporte alternativo de mensagens SOAP (utilizando o sistema de televisão digital interativa e encapsulando uma mensagem SOAP dentro de outro documento desse mesmo protocolo). Como aplicações da plataforma foram criadas duas grades computacionais com arquiteturas distintas. A primeira permite que um ambiente de compartilhamento de recursos possa ser utilizado como infraestrutura para prover plataforma como serviço (PaaS) para usuários convencionais (domésticos ou corporativos) em um ambiente de computação em nuvem. A outra arquitetura tem como foco o fortalecimento de grades computacionais desktop por meio da utilização de receptores digitais de TV (set-top box) como provedores de recursos onde a distribuição de objetos e as mensagens SOAP ocorrem por difusão. Os modelos foram validados por meio de testes reais feitos utilizando as respectivas implementações, o que demonstrou que são funcionais. Tais implementações disponibilizam produtos que cooperam com a inovação do desenvolvimento de aplicações para grades computacionais e também para outras categorias de sistemas distribuídos / This PhD thesis presents investigations, models and implementations of a computational grid middleware named Grid Anywhere. This platform aims at allowing the build of computational grid systems, which enable the increase of the number of participants as consumers and resource providers. In order to do this, new solutions are presented to manage security policies, load applications, host objects, execute remote methods, develop application and alternative transport of SOAP messages in a flexible way (using the interactive digital television system and inserting one SOAP message inside another document of this same protocol). As applications of this middleware, two different architectures of computational grids were created. The first one enables an environment to share resources that are used as infrastructure to provide platform as a service (PaaS) in a cloud computing system. The goal of the second architecture is to increase the computational power of desktop computational grid systems using digital television receivers (set-top box) as resource providers, where the distribution of objects and SOAP messages occurs via broadcasting. The models were validated by means of real tests using the respective implementations, which showed that the platform is functional. Such implementations provide software products that help the innovation and development of computational grid applications and also others types of distributed systems

Um dos maiores desafios no desenvolvimento de sistemas de alto desempenho é a questão da transferência e armazenamento de grandes quantidades de dados dentro do sistema. Diferentes abordagens tentam solucionar este problema. Entre elas, tem-se os sistemas de arquivos voltados para cluster, como PVFS, Lustre e NFSp. Eles distribuem as funções de armazenamento entre os nós do cluster. Na maioria dos casos, os nós do sistema de arquivos são divididos em duas categorias: servidores de dados e servidores de metadados. Assim, fica a cargo do administrador determinar como estes servidores são dispostos dentro do cluster. No entanto, esta tarefa nem sempre é óbvia, pois grande parte dos sistemas de arquivos exige que os nós destinados ao sistema sejam determinados na sua instalação, sem a possibilidade de alterações posteriores. Uma má configuração inicial pode exigir a reinstalação do sistema, e o fato de não fazer esta reinstalação pode resultar em um serviço que não satisfaz às necessidades dos usuários.O objetivo deste trabalho é propor um modelo de tratamento do dinamismo de servidores de dados em um sistema de arquivos para cluster. Três cenários foram estudados, e para cada um deles foram analisadas estratégias de autoconfiguração do sistema de arquivos emtempo de execução. O primeiro caso tratado foi a adição de servidores de dados por parte do administrador para expandir a capacidade do sistema de arquivos. Testes sobre este caso mostraram que, nas situações onde a distribuição de carga entre os servidores de dados é homogênea, pode-se extrair os melhores resultados do sistema. O segundo caso tratado foi a inserção por parte do usuário de servidores temporários de dados. Esta inserção temcomo objetivo suprir as necessidades temporárias de algumas aplicações. Foram realizados testes comparando o desempenho de aplicações com e sem a utilização de servidores temporários. Em todos os casos, a aplicação com servidores temporários teve maior desempenho, atingindo até 20% de ganho. O último cenário tratado combina técnicas de replicação com o dinamismo de nós. Assim, foi possível manter o sistema de arquivos em funcionamento mesmo após a perda de um servidor de dados. Os resultados mostraram que a perda de servidores de dados pode resultar em desequilíbrio de carga entre servidores, comprometendo o desempenho do sistema de arquivos. / One of the most important challenges to high performance systems designers is storing and transfering large amounts of data between the nodes on the system. Different approaches have been proposed to solve this storage performance problem. Cluster file systems, like PVFS, Lustre and NFSp are examples of such systems, as they distribute the functionality of a file system across the nodes of cluster, achieving a high level of parallelism and offering a larger storage space than centralized solutions. Usually the file system nodes are of two types: metadata servers and data servers. The placement of those services on a cluster is left to the cluster administrator. Such configuration is not an obvious task, as most file systems do not allow changing the configuration after the installation. A suboptimal initial configuration may result on a file system that does not fit the users need and changing such configuration may require a file system reinstall. The objective of this work is to propose a model to treat the dynamism of data servers on a cluster file system. Three scenarios were studied and for each one we have designed suitable reconfiguration strategies. The first case has its origin on the system administrator’s actions, adding or removing data servers to change the capacity of the file system. The tests have shown that with an homogeneous load distribution across the servers it was possible to obtain the best results. The second scenario treats the temporary data server insertion by the user. This case aims to provide extra storage capacity to a specified application. Tests were performed comparing applications with and without temporary data servers. On all the cases the application with temporary data server has had better performance results, reaching 20% of performance gain. The last scenario, combines replication techniqueswith server dynamism. Thisway, itwas possible to keep the file systemworking even on data servers failure. The tests have shown that the losts of a nodemay result on load unbalancing on data servers, degrading the overall file system performance.

O estudo e desenvolvimento de sistemas distribuídos é uma tarefa que demanda grande esforço e recursos. Por este motivo, a pesquisa em sistemas deste tipo pode ser auxiliada com o uso de simuladores, bem como por meio da emulação. A vantagem de se usar simuladores é que eles permitem obter resultados bastante satisfatórios sem causar impactos indesejados no mundo real e, conseqüentemente, evitando desperdícios de recursos. Além disto, testes em larga escala podem ser controlados e reproduzidos. Neste sentido, vem sendo desenvolvido desde 2000 um framework para simulação de algoritmos distribuídos denominado Neko. Por meio deste framework, algoritmos podem ser simulados em uma única máquina ou executados em uma rede real utilizando-se o mesmo código nos dois casos. Entretanto, através de um estudo realizado sobre os modelos de defeitos mais utilizados na literatura, verificou-se que o Neko é ainda bastante restrito nesta área. A única classe de defeito abordada, lá referida como colapso, permite apenas o bloqueio temporário de mensagens do processo. Assim, foram definidos mecanismos para a simulação das seguintes classes de defeitos: omissão de mensagens, colapso de processo, e alguns defeitos de rede tais como quebra de enlace, perda de mensagens e particionamento. A implementação foi feita em Java e as alterações necessárias no Neko estão documentadas no texto. Para dar suporte aos mecanismos de simulação de defeitos, foram feitas alterações no código fonte de algumas classes do framework, o que exige que a versão original seja alterada para utilizar as soluções. No entanto, qualquer aplicação desenvolvida anteriormente para a versão original poderá ser executada normalmente independente das modificações efetuadas. Para testar e validar as propostas e soluções desenvolvidas foram utilizados estudos de caso. Por fim, para facilitar o uso do Neko foi gerado um documento contendo informações sobre instalação, configuração e principais mecanismos disponíveis no simulador, incluindo o suporte a simulação de defeitos desenvolvido neste trabalho. / The study and development of distributed systems is a task that demands great effort and resources. For this reason, the research in systems of this type can be assisted by the use of simulators, as well as by means of the emulation. The advantage of using simulators is that, in general, they allow to get acceptable results without causing harming impacts in the real world and, consequently, preventing wastefulness of resources. Moreover, tests on a large scale can be controlled and reproduced. In this way, since 2000, a framework for the simulation of distributed algorithms called Neko has been developed. By means of this framework, algorithms can be simulated in a single machine or executed in a real network, using the same code in both cases. However, studying the most known and used failure models developed having in mind distributed systems, we realized that the support offered by Neko for failure simulation was too restrictive. The only developed failure class, originally named crash, allowed only a temporary blocking of process’ messages. Thus, mechanisms for the simulation of the following failure classes were defined in the present work: omission of messages, crash of processes, and some network failures such as link crash, message drop and partitioning. The implementation was developed in Java and the necessary modifications in Neko are registered in this text. To give support to the mechanisms for failure simulation, some changes were carried out in the source code of some classes of the framework, what means that the original version should be modified to use the proposed solutions. However, all legacy applications, developed for the original Neko version, keep whole compatibility and can be executed without being affected by the new changes. In this research, some case studies were used to test and validate the new failure classes. Finally, with the aim to facilitate the use of Neko, a document about the simulator, with information on how to install, to configure, the main available mechanisms and also on the developed support for failure simulation, was produced.

Em relação a sistemas multiprocessados integrados em uma única pastilha (MPSoC), tanto a alocação dinâmica quanto a migração de tarefas são áreas de pesquisa recentes e abertas. Este artigo propõe uma organização de memória híbrida para sistemas com comunicação baseados em redes-em-chip, como maneira de minimizar a energia gasta durante a transferência de código decorrente de uma alocação ou migração de tarefa. É também introduzido um novo mecanismo de migração de tarefas, que, por sua vez, pode utilizar check-pointing ou outra técnica mais transparente. O aumento do uso de sistemas multiprocessados na computação embarcada torna importante a avaliação de diferentes organizações de memória. Enquanto memórias distribuídas proporcionam acessos mais rápidos, memórias compartilhadas tornam possível o compartilhamento de dados sem a interferência dos processadores. Nos experimentos realizados, foi focada a redução da energia gasta na comunicação em um contexto onde uma migração de tarefas ou uma alocação dinâmica fosse necessária. Os resultados indicam que, considerando a migração do código, a solução proposta apresenta melhor eficiência do que soluções unicamente distribuídas ou compartilhadas. Foi também verificado que, em alguns casos, a estratégia híbrida reduz os tempos de migração. Na solução apresentada, o código pode ser transferido do nó onde a tarefa era originalmente executada ou de uma memória posicionada no centro da rede. A escolha entre as duas opções é feita em tempo de execução de uma maneira intuitiva, sendo a escolha baseada na distância entre os nós envolvidos na transferência. Os resultados indicam que a organização proposta reduz a energia de transferência de código em 24% e 10% em média, se comparada, respectivamente, a soluções utilizando somente memória global ou distribuída. O modelo de migração de tarefas proposto é baseado na linguagem Java e na comunicação por troca de mensagens. Todo seu desenvolvimento se deu em software, não requerendo nenhuma modificação no sistema. O custo energético da migração foi então avaliado. Entende-se por custo energético a energia gasta nos processadores para envio e recebimento das mensagens e na estrutura de comunicação, uma rede-em-chip. Trabalhos já existentes não consideram o custo de migração, comparando apenas o arranjo inicial e final das tarefas no sistema. Este trabalho, entretanto, avalia todo o processo de migração. Através de experimentos, é estimado o tempo mínimo de execução da plataforma, como função do tamanho da tarefa e da distância entre os nós da rede, necessário para amortizar a energia gasta no processo de migração, considerando que os processadores utilizam a técnica de DVS para reduzir o consumo de acordo com suas cargas de processamento. / Regarding embedded Multi-processor Systems-on-Chip (MPSoCs), dynamic task allocation and task migration are still open research areas. This work proposes a hybrid memory organization for NoC-based systems as the way to minimize the energy spent during the code transfer when task migration or dynamic task allocation needs to be performed. It is also introduced a new flexible task migration mechanism, which can use check-pointing or a more transparent technique. The increasing use of multi-processor architectures in embedded computing makes it important to evaluate different options for memory organization. While distributed memory allows faster accesses, a global memory makes possible the sharing of data without processor interference. In the experiments, it is targeted the communication energy reduction in a context where task migration or dynamic task allocation is required. Results indicate that the proposed hybrid memory organization presents better efficiency than distributed- or global-only organizations regarding code migration. It is also noticed that, in some cases, the hybrid strategy reduces the task migration times. In the hybrid approach, the code can be transferred from the node where the task was originally running or from a memory positioned at the center of the system. The choice between the two options is done at runtime in a very intuitive way, based on the distance between the nodes involved on the transfer. Results are very encouraging and indicate that the proposed hybrid organization reduces the code transfer energy by 24% and 10% on average, as compared to global- and distributed-only memory organizations, respectively. The proposed migration model is based on the Java language and on message passing communication method. It is mainly software-based, and does not require any system modification. The energy cost of the migration process is then evaluated, i.e., the energy spent on the sending and receiving cores and on the communication structure, a wormhole-based Network-on-Chip (NoC). Previous works have compared system figures before and after task migration, while this study evaluates the whole migration process. Finally, it is derived the minimum execution time of the embedded system, as a function of the task size and of the distance between the cores on the NoC, that is required to amortize the energy spent on the migration process, considering that processors use Dynamic Voltage Scaling to reduce power consumption according to their current workloads.

FundaÃÃo de Amparo à Pesquisa do Estado do Cearà / Em programaÃÃo orientadas a objetos (POO) , a habilidade de encapsular interesses de software da dominante decomposiÃÃo em objetos à a chave para alcanÃar alto nÃvel de modularidade e diminuiÃÃo de complexidade em projetos de larga escala. Entretanto, o paralelismo de memÃria distribuÃda tende a quebrar modularidade, encapsulamento e a independÃncia de objetos, uma vez que as computaÃÃes paralelas nÃo podem ser encapsuladas em objetos individuais, os quais residem em um espaÃo de endereÃamento Ãnico. Para reconciliar orientaÃÃo a objetos e paralelismo em memÃria distribuÃda, esse trabalho introduz a PPOO (ProgramaÃÃo Paralela Orientada a Objetos), um estilo de POO onde objetos sÃo distribuÃdos por padrÃo. Como uma estensÃo do C++, uma linguagem consolidada em CAD, a linguagem PObC++ foi projetada e prototipada, incorporando as ideias da PPOO. / In object-oriented programming (OOP) languages, the ability to encapsulate software concerns of the dominant decomposition in objects is the key to reaching high modularity and loss of complexity in large scale designs. However, distributed-memory parallelism tends to break modularity, encapsulation, and functional independence of objects, since parallel computations cannot be encapsulated in individual objects, which reside in a single address space. For reconciling object-orientation and distributed-memory parallelism, this work introduces OOPP (Object-Oriented Parallel Programming), a style of OOP where objects are distributed by default. As an extension of C++, a widespread language in HPC, the PObC++ language has been designed and protoyped, incorporating the ideas of OOPP

Orientador: Edmundo Roberto Mauro Madeira / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-21T15:46:52Z (GMT). No. of bitstreams: 1 Lago_DanielGuimaraesdo_M.pdf: 7437599 bytes, checksum: 07be466937a19113705ecead5fa67898 (MD5) Previous issue date: 2012 / Resumo: Neste trabalho são apresentados algoritmos que atuam no processo de escalonamento de máquinas virtuais para computação em nuvem, fundamentados nos conceitos de Computação Verde. Estes algoritmos focam na minimização da energia consumida, além de proverem qualidade de serviço baseada em prioridade de execução de cargas virtuais. Para atingir o objetivo da minimização de consumo de energia são usados alguns recursos, tais como: desligamento de servidores subutilizados, migração de cargas de servidores que operam abaixo de um determinado limiar, DVFS e Fan Control. A escolha de qual servidor receberá as cargas virtuais é obtida através da maximização da eficiência em energia, dada pela razão entre MIPS e a potência consumida em cada servidor. Alem disso, os algoritmos deste trabalho atuam na submissão de cargas com prioridades, permitindo com que cargas de maior prioridade sejam executadas em tempos menores. Resultados obtidos através de simulações mostraram que os algoritmos desenvolvidos, quando confrontados a outros algoritmos pesquisados, podem melhorar o consumo de energia em nuvens compostas por data centers heterogêneos, empatando com os melhores algoritmos no caso de data centers homogêneos, além de prover qualidade de serviço / Abstract: This work presents algorithms that operate in the scheduling process of virtual machines in cloud computing, based on concepts of Green Computing. These algorithms focus on energy consumption minimization, and also provide quality of service based on virtual load execution priority. To achieve energy consumption minimization, some features are used, such as underutilized server shutdown, migration of server loads that operate below a certain threshold, DVFS, and Fan Control. The choice of which server will receive the virtual loads is obtained through energy efficiency maximization, given by the ratio MIPS to power consumption per server. Furthermore, the algorithms of this work also act on the submission of loads with priorities, allowing high priority loads to run in lower times. Results from simulations showed that the developed algorithms, when confronted against other studied algorithms, can improve energy consumption in clouds composed of heterogeneous data centers, tying with the best algorithms in the case of homogeneous data centers, also providing quality service / Mestrado / Ciência da Computação / Mestre em Ciência da Computação

[pt] Este trabalho trata do problema não-linear de estimação simultânea de parâmetros e estado, em sistemas distribuídos, e ainda do problema de localização de sensores associado. A classe de modelos em que estamos interessados é caracterizada por operadores lineares, não- limitados, densamente definidos e dissipativos. Nossa abordagem aplica técnicas de filtragem linear a uma seqüência de linearizações em torno de trajetórias convenientemente escolhidas. A localização ótima de sensores é feita de modo a minimizar uma medida do erro da estimatição simultânea de parâmetros e estados. A contribuição original desta tese compreende o desenvolvimento de : (1) um algoritmo que realiza simultaneamente a identificação e a filtragem de uma classe de sistemas distribuídos operando em ambiente estocástico, e (2) um esquema eficiente de localização ótima de sensores para o problema acima mencionado. Alguns exemplos simulados são apresentados com o objetivo de ilustrar os resultados aqui desenvolvidos / [en] This thesis deals with the nonlinear problem of simultaneous parameter and state estimation for distributed systems, including the associated optimal sensor location. The class of models under consideration is caracterrized by linear unbounded operators which are densely defined and dissipative. Our approach applies linear filtering techniquess to a sequence of linearizations at suitable trajectories. The optimal sensors location is carried out by minimizing a meassure of the state and parameter estimation error. The contribution of this thesis comprises: (1) an algorithm for simultaneous identification and filtering for a classs of distributed systems operting in a stochastic environment and (2) an efficient optimal sensors location scheme for the above mentioned problem. Some simulated exemples are presented to illustrate the proposed approach.

[pt] Este trabalho apresenta um método para identificação paramétrica de sistemas distribuídos lineares, modelados por equações diferenciais, operando em ambiente estocástico. O presente trabalho assunto já foi tratado por Kubrusly e Curtain em [7] onde o sistema é suposto ser excitado por distúrbios aleatórios variáveis no espaço e observado através de um número limitado de sensores ruidosos localizados no domínio espacial. Aqui é feita uma generalização do trabalho acima mencionado, onde agora considera-se que as medidas ruidosas são geradas com ganho de saída e efeitos de ruído, ambos variáveis no espaço. O modelo é suposto ser conhecido, exceto por um conjunto de parâmetros variáveis no espaço, os quais são identificados recursivamente por meio de algoritmos de aproximação estocástica. / [en] This work presents a method for parametric identification of distributed systems modeled by partial differential equation operating in a stochastic environment. The present problem has already been treated by Kubrusly and Curtain in [7] where the system through a limited number of noisy sensors located in the spatial domain. Here it is presented a generalization of the above mentioned work Now it is assumed that the noisy measurements are generated considering that the output gain as well as the noise effects are space-varying. The model is assumed to be known up to a set of space-varying parameters which are identified by using recursive stochastic approximation algorithms.

The thesis presents a survey of techniques for accurate prediction of traffic distribution in computer network systems.