The Grid has been recognised as the next-generation distributed computing paradigm by seamlessly integrating heterogeneous resources across administrative domains as a single virtual system. There are an increasing number of scientific and business projects that employ Grid computing technologies for large-scale resource sharing and collaborations. Early adoptions of Grid computing technologies have custom middleware implemented to bridge gaps between heterogeneous computing backbones. These custom solutions form the basis to the emerging Open Grid Service Architecture (OGSA), which aims at addressing common concerns of Grid systems by defining a set of interoperable and reusable Grid services. One of common concerns as defined in OGSA is the Grid accounting service. The main objective of the Grid accounting service is to ensure resources to be shared within a Grid environment in an accountable manner by metering and logging accurate resource usage information. This thesis discusses the origins and fundamentals of Grid computing and accounting service in the context of OGSA profile. A prototype was developed and evaluated based on OGSA accounting-related standards enabling sharing accounting data in a multi-Grid environment, the World-wide Large Hadron Collider Grid (WLCG). Based on this prototype and lessons learned, a generic middleware solution was also implemented as a toolkit that eases migration of existing accounting system to be standard compatible.

This thesis presents methods to run scientific code safely on a global-scale desktop grid. Current attempts to harness the world’s idle desktop computers face obstacles such as donor security, portability of code and privilege requirements. Nereus, a Java-based architecture, is a novel framework that overcomes these obstacles and allows the creation of a globally-scalable desktop grid capable of executing Java bytecode. However, most scientific code is written for the x86 architecture. To enable the safe execution of unmodified scientific code, we created JPC, a pure Java x86 PC emulator. The Nereus framework is applied to two tasks, a trivially parallel data generation task, BlackMax, and a parallelization and fault tolerance framework, Mycelia. Mycelia is an implementation of the Map-Reduce parallel programming paradigm. BlackMax is a microscopic blackhole event generator, of direct relevance for the Large Hadron Collider (LHC). The Nereus based BlackMax adaptation dramatically speeds up the production of data, limited only by the number of desktop machines available.

Autonomic Computing (AC) aims at solving the problem of managing the rapidly-growing complexity of Information Technology systems, by creating self-managing systems. In this thesis, we have surveyed the progress of the AC field, and studied the requirements, models and architectures of AC. The commonly recognized AC requirements are four properties - self-configuring, self-healing, self-optimizing, and self-protecting. The recommended software architecture is the MAPE-K model containing four modules, namely - monitor, analyze, plan and execute, as well as the knowledge repository. In the modern software marketplace, Java Management Extensions (JMX) has facilitated one function of the AC requirements - monitoring. Using JMX, we implemented a package that attempts to assist programming for AC features including socket management, logging, and recovery of distributed computation. In the experiments, we have not only realized the powerful Java capabilities that are unknown to many educators, we also illustrated the feasibility of learning AC in senior computer science courses.

Pesquisas em sistemas paralelos e distribuídos de alto desempenho apresentam limitações no que se refere a análise, projeto, implementação e execução automática e transparente de aplicações. Essas limitações motivaram o projeto do MidHPC (do inglês Middleware for High Performance Computing, ou seja, Middleware para Computação de Alto Desempenho), que balanceia transparente e automaticamente cargas de trabalho considerando a capacidade dos recursos computacionais e o comportamento das aplicações envolvendo: processamento, acesso a disco, memória e rede. Para utilizar todo o potencial do MidHPC, aplicações devem ser escritas utilizando o modelo de programação concorrente, tal como o padrão POSIX de threads (pthreads). Aplicações desenvolvidas seguindo esse modelo de programação podem ser executadas em ambientes de Grid sem alteração de código fonte ou recompilação. Durante a execução, tarefas de uma mesma aplicação paralela comunicam-se, transparentemente, por meio de um sistema de memória compartilhada distribuída. O objetivo deste trabalho foi desenvolver alguns dos módulos do projeto MidHPC e integrar demais ferramentas que haviam sido previamente desenvolvidas pelo grupo. Este trabalho permite aplicar, em ambientes reais, todos os conceitos de escalonamento de processos estudados e desenvolvidos durante o projeto MidHPC / Current researches on parallel and distributed systems present limitations regarding the analysis, design, implementation and automatic execution of high performance applications. Those limitations motivated the design of MidHPC (Middleware for High Performance Computing), which transparently and automatically balances workloads considering computing resources capacities and application behavior such as: processing, network, memory and disc accesses. In order to use all of the MidHPC potential, applications must be developed following the concurrent programming model, using the POSIX thread standard (pthreads). Applications developed according to this programming model can be executed in the Grid environment with no source code modification nor recompilation. During the execution, tasks of the same application communicate, transparently, using a distributed shared memory system. The objective of this master thesis was to develop modules of the MidHPC project and integrate tools that were previously developed by the research group. This work allows applying, in real-world environments, all process scheduling concepts studied and developed during the MidHPC project

Grades Computacionais (grid computing) já é uma realidade tanto no meio acadêmico quanto no meio empresarial. Seu uso se tornou popular principalmente devido à divulgação dos trabalhos nesta área e pela propaganda de produtos e softwares que oferecem essa idéia. Apesar disso, ambientes para o desenvolvimento de aplicações orientadas a objetos em Java para uma infra-estrutura de grid ainda é escasso. Algumas iniciativas oferecem bibliotecas para este desenvolvimento. Outras utilizam paradigmas diferentes, como o de passagem de mensagem, para o desenvolvimento de aplicações. Além disso, a própria infra-estrutura de grid, formada por diferentes domínios administrativos com diferentes políticas de segurança e uso, impede que as aplicações sejam executadas nos diversos níveis existentes no grid. Estes níveis, formados por computadores e clusters de computadores com nós de execução, possuem endereçamento privado, impossibilitando que as aplicações alocadas em cada um desses computadores/nós, em diferentes domínios e diferentes endereços, se comuniquem de forma transparente. Visando uma solução para esses problemas, esta tese apresenta um ambiente para programação orientada a objetos distribuídos e paralelos, em Java, denominado J4GE. Nesse ambiente, o modelo orientado a objetos é base para a distribuição das classes, métodos e atributos existente em uma aplicação. Além disso, o ambiente oferece transparência no acesso aos objetos espalhados pelo grid através de um Serviço de Mensagem, independente do nível onde o recurso, computador ou nó, se encontra. Essa transparência permite também que o programador utilize a plataforma Java sem a necessidade de aprender ou conhecer novas bibliotecas ou paradigmas, diminuindo o esforço no desenvolvimento de aplicações para grid. E, juntamente com os recursos da plataforma Java e do ambiente J4GE, é possível criar objetos distribuídos com comportamento paralelo e concorrente, trazendo maior eficiência para a execução da aplicação. / Grid computing is already a reality both in academic and business world. Its use has become popular mainly because of the projects in this area and the advertising of products and software that offer this idea. Nevertheless, environments for development of object-oriented applications in Java for grid infrastructure are still scarce. Some initiatives offer libraries for this development. Others use different paradigms such as the message-passing for development of applications. Moreover, the infrastructure of grid, formed by different administrative domain with different security policies, prevents the execution of applications at various levels in the grid. These levels, formed by computers and clusters of computers with execution nodes, have private addresses, make impossible the transparent communication of the applications allocated in each of these computers at different levels in different domains. Focused on these problems, this thesis presents an environment for distributed and parallel object-oriented programming in Java, called J4GE. In this environment, the object-oriented model is the basis for the distribution of classes, methods and attributes in an existing application. Moreover, the environment offers transparency in objects access around the grid through a Message Service, regardless the level where is the resource, or the computer, or the execution node. This transparency also allows the programmer to use the Java platform without knowing or learning new libraries or paradigms, reducing the effort in developing applications for grid. The resources of the Java platform and the environment J4GE together can create distributed objects with parallel and concurrent behavior, bringing greater efficiency to the application.

Computação em grade tem se estabelecido como um importante paradigma de computação, por permitir lidar com grandes quantidades de cálculos e dados e a colaboração de participantes geograficamente distribuídos. Esses sistemas devem ser organizados de forma completamente distribuídas, com cada participante mantendo informações sobre outros participantes, e as informações necessárias ao funcionamento do sistema circulando pela rede de overlay resultante. Quando novas propostas de algoritmos, protocolos ou infraestruturas para a grade são apresentadas, sua avaliação efetiva implica considerar sua operação com uma grande quantidade de participantes, o que invariavelmente significa que simulações devem ser realizadas. Este trabalho apresenta um sub-sistema de simulação de redes de overlay integrado à plataforma de simulação de computação de grade GridSim, de forma a facilitar o estudo desse tipo de estruturas e o desenvolvimento de novas propostas de protocolos e algoritmos para seu uso em grades de computadores. A metodologia adotada resultou no desenvolvimento de um Java package no GridSim com classes e interfaces que representam os conceitos básicos de redes de overlay e da interface dos clientes com essas redes. A partir dele foi possível desenvolver protocolos para redes estruturadas e não estruturadas no simulador e simulá-los utilizando cenários de grade de dados. Com os resultados obtidos foi possível observar que, os protocolos implementados no simulador estão de acordo com o que é encontrado na literatura. / Grid Computing has been established as an important computing paradigm, since it allows dealing with a large quantity of computations and data and the collaboration of geographically distributed participants. Those systems must be organized in a completely distributed way, with each participant knowing about some other participants, and the needed information to the functioning system circulating through the resulting overlay network. When new algorithm proposals, protocols or infrastructures to the grid are presented, its evaluation implies to consider its operation with a large number of participants, which invariably means that simulations must be done. This work presents a subsystem of overlay network simulation integrated to the GridSim simulation platform, in order to facilitate the study of that type of structures and the development of new protocols and algorithms for use in grid computers. The adopted methodology led up to the development of a Java package with classes and interfaces that represent the basic concepts of overlay networks and of the clients interface with those networks. Using this package, it was possible for develop protocols to structured and non-structured networks in the simulator and simulate them using data grid scenarios. With the obtained results it was possible to observe that the implemented protocols in the simulator agree with what is found in the literature.

A computação em nuvem tem recebido um grande destaque, ao propor um novo e eficiente mecanismo para disponibilizar recursos computacionais. Dos investimentos cada vez maiores nessa plataforma, inclusive pela academia, surge a oportunidade de compartilhar estes recursos computacionais entre diferentes instituições. As grades computacionais são um mecanismo bem estabelecido para o compartilhamento de alguns tipos de recursos computacionais. Através do entendimento de como isso é feito nestas estruturas, esse trabalho avalia as soluções existentes e propõe um arquitetura alternativa que permite a criação das federações de nuvens computacionais. / Cloud computing is a new model to provide computing resources. The growing interest and investments on this platform creates an opportunity to share this resources across different institutions. The grid computing is the standard way of achieving this. Using grid as reference, this work survey current technologies and present an alternative design to allow the development of academic cloud computing federations.

Esta tese de doutorado apresenta investigações, modelos e implementações de um middleware para grades computacionais denominado Grid Anywhere. Essa plataforma tem como objetivo viabilizar a construção de grades computacionais que permitam um maior número de provedores e consumidores de recursos. Para isso, são apresentadas soluções para gerenciamento de segurança, carregamento de aplicações, hospedagem de objetos, execução remota de métodos, desenvolvimento de aplicações e transporte alternativo de mensagens SOAP (utilizando o sistema de televisão digital interativa e encapsulando uma mensagem SOAP dentro de outro documento desse mesmo protocolo). Como aplicações da plataforma foram criadas duas grades computacionais com arquiteturas distintas. A primeira permite que um ambiente de compartilhamento de recursos possa ser utilizado como infraestrutura para prover plataforma como serviço (PaaS) para usuários convencionais (domésticos ou corporativos) em um ambiente de computação em nuvem. A outra arquitetura tem como foco o fortalecimento de grades computacionais desktop por meio da utilização de receptores digitais de TV (set-top box) como provedores de recursos onde a distribuição de objetos e as mensagens SOAP ocorrem por difusão. Os modelos foram validados por meio de testes reais feitos utilizando as respectivas implementações, o que demonstrou que são funcionais. Tais implementações disponibilizam produtos que cooperam com a inovação do desenvolvimento de aplicações para grades computacionais e também para outras categorias de sistemas distribuídos / This PhD thesis presents investigations, models and implementations of a computational grid middleware named Grid Anywhere. This platform aims at allowing the build of computational grid systems, which enable the increase of the number of participants as consumers and resource providers. In order to do this, new solutions are presented to manage security policies, load applications, host objects, execute remote methods, develop application and alternative transport of SOAP messages in a flexible way (using the interactive digital television system and inserting one SOAP message inside another document of this same protocol). As applications of this middleware, two different architectures of computational grids were created. The first one enables an environment to share resources that are used as infrastructure to provide platform as a service (PaaS) in a cloud computing system. The goal of the second architecture is to increase the computational power of desktop computational grid systems using digital television receivers (set-top box) as resource providers, where the distribution of objects and SOAP messages occurs via broadcasting. The models were validated by means of real tests using the respective implementations, which showed that the platform is functional. Such implementations provide software products that help the innovation and development of computational grid applications and also others types of distributed systems

O termo grade computacional faz referência a uma classe de sistemas distribuídos que permitem a associação e a integração de múltiplos domínios em organizações virtuais. Um serviço de controle de acesso coerente a sistemas com estas características deve ser flexível para integrar múltiplas políticas, permitindo que administradores, sítios e usuários determinem as regras e os mecanismos para proteger seus recursos. Esta tese apresenta o GridMultiPolicy, um sistema flexível para o gerenciamento e a integração de múltiplas políticas e mecanismos para a efetivação de controle de acesso em ambientes de grade computacional. Adicionalmente, foram desenvolvidas políticas para demonstrar a capacidade do sistema proposto em oferecer respostas às necessidades presentes em cenários de uso de uma grade computacional. O impacto da utilização do GridMultiPolicy e das políticas desenvolvidas foi avaliado por meio de testes de desempenho. Palavras-chave: Grade computacional. Grades. Sistemas distribuídos. Políticas de segurança em organizações virtuais. GridMultiPolicy. / The term computational grid refers to a class of distributed systems that allows for the association and integration of multiple independent domains in virtual organizations. A coherent access control services in such a system should be flexible to integrate multiple polices so as to permit administrators, sites, and users to determine roles and mechanisms to protect their resources. This thesis introduces the GridMultiPolicy, a flexible system that manages and integrates multiple policies and mechanisms to enforce access control in grid environments. Additionally, policies have been developed to show how the proposed system is able to offer answers to security needs present in grid use scenarios. The impact of the GridMultiPolicy and the developed policies was evaluated by performance tests. Key-words: Computational grid. Grid. Distribuited system. Virtual organization. Policy and security for virtual organization. GridMultiPolicy.

Made available in DSpace on 2015-03-05T13:59:42Z (GMT). No. of bitstreams: 0 Previous issue date: 29 / Hewlett-Packard Brasil Ltda / A implantação e a configuração de aplicações em grades computacionais são tarefas exaustivas e sujeitas a erros, ainda representando elo fraco do ciclo de vida de aplicações desta natureza. Para lidar com o problema, este trabalho propõe AGrADC, uma arquitetura para instanciação sob demanda de aplicações em grades que incorpora características da Computação Autônoma.Esta arquitetura instrumenta o processo de desenvolvimento de aplicações para grades computacionais, oferecendo ferramentas para definir (a) um fluxo de implantação, respeitando pendências entre componentes que compõem a aplicação, (b) parâmentros de configuração e (c) ações a serem executadas diante de situações adversas tais como falhas. O resultado desse processo, materializado na forma de um conjunto de descrições, é repassado a um motor de instanciação, que passa utonomamente conduzir e gerenciar o processo de implantação e configuração / Deployment and configuration of grid computing applications are eshaustive and error-prone tasks, representing a weak link of the lifecycle of grid applications. To adress the problem, this work proposes AGrADC, an arquitecture to instantiate grid applications on demand, which incorporates features from the Autonomic Computing paradigm. This architecture improves the grid applications development process, providing tools to define (a) a deployment flow, respecting dependencies among components that comprise the application, (b) configuration paramenters and (c) actions to be executed when adverse situations like faults arise. The result of this process, materialized in the form of a set of descriptions, is delivered to an istantiation engine, which starts to autonomously conduct and manage the deployment and configuration process.