As grades computacionais e as redes peer-to-peer (P2P) surgiram como áreas distintas, com diferentes propósitos, modelos e ferramentas. No decorrer dos últimos anos, estas áreas foram convergindo, uma vez que a infraestrutura e o modelo de execução descentralizada das redes P2P provaram ser uma alternativa adequada para o tratamento de questões relacionadas à manutenção de grades de larga escala, tais como escalabilidade, descoberta, alocação e monitoramento de recursos. O modelo MultiCluster trata a convergência entre grades computacionais e redes peer-to-peer de uma forma mais restrita: os problemas de escalabilidade, de descoberta e alocação de recursos são minimizados considerando-se apenas recursos localmente disponíveis para a construção de uma grade, a qual pode ser usada para a execução de aplicações com diferentes características de acoplamento e comunicação. Esse trabalho apresenta a arquitetura do modelo e seus aspectos funcionais, bem como um primeira implementação do modelo, realizada através da adaptação da biblioteca de programação DECK sobre os protocolos do projeto JXTA. A avaliação do funcionamento dessa implementação é apresentada e discutida, com base em algumas aplicações com diferentes características. / Grid computing and peer-to-peer computing emerged as distinct areas with different purposes, models and tools. Over the last years, these areas has been converging since the infrastructure and the execution model used in peer-to-peer networks have proven to be a suitable way to treat some problems related to the maintenance of large scale grids, such as scalability, monitoring, and resource discovery and allocation. The MultiCluster model addresses the convergence of grids and peer-to-peer networks in a more restricted way: the problems related to scalability, resource allocation and discovery are minimized by considering only local resources for the conception of a small scale grid, which can be used to run applications with different characteristics of granularity and communication. This work presents the MultiCluster architecture and its functional aspects, as well as a first implementation carried out by adapting the DECK programming library to use JXTA protocols and its consequent evaluation, based on applications with different characteristics.

La démocratisation des nouvelles plateformes d'exécution parallèles et distribuées, notamment les grilles de calcul, a engendré l'émergence de nouvelles d'architectures constituées en grande partie par des ressources fournies par des personnes/organisations volontaires. Ces machines ne sont pas disponibles tout le temps. Elles sont sujettes à des perturbations liées aux incertitudes sur les dates de début et de fin de disponibilités. Pour générer des ordonnancements adaptés à ces plateformes, nous cherchons à optimiser, en plus des fonctions objectifs classiques, un nouveau critère qui caractérise l'aptitude de l'ordonnancement à absorber l'effet des perturbations (la stabilité). Nous nous sommes intéressés dans le cadre de ce travail au problème de l'ordonnancement avec contraintes d'indisponibilité de ressources et d'incertitudes sur les dates d'occurrence des évènements. Nous commençons par étudier le cas préliminaire de ce problème où une seule indisponibilité est possible par machine et où l'incertitude porte sur la durée de l'indisponibilité. Nous généralisons ensuite cette étude pour le cas où plusieurs indisponibilités peuvent être envisagées sur les machines et où l'incertitude porte sur les dates d'occurrences des évènements. Pour l'ensemble de ces problèmes, nous utilisons une technique de tampon pour fournir une famille d'ordonnancements qui optimisent simultanément la performance et la stabilité des ordonnancements générés. Une vaste campagne de simulation des heuristiques proposées conduit à la sélection de configurations qui aboutissent à des résultats satisfaisants en terme de compromis. Mots clés : Parallélisme, ordonnancement, incertitude, disponibilité, stabilité / New platforms for parallel and distributed computing, such grids, are emergent structure build by collecting resources provided by volunteers individuals or organisations. These resources are not always available. They are in fact subject to disturbances related to uncertainty on start and end availability time. In order to design schedules adapted to these platforms we aim to optimise, in addition to the classic objective function, a new criteria that characterise the ability of the schedule to absorb the effect of the perturbation (stability). In this work, we study the problem of scheduling under availability resource constraints and uncertainty on the events occurrence dates. We initially study the elementary case where only one unavailability is allowed per machine and where the duration of the availability is uncertain. We then generalize to the general case when multiple unavailabilities are allowed by machine and where uncertainties are related on the events occurrence dates. For all these problems, we design schedules based on the slack technique, and that optimise both performance and stability. A wide simulation campaign of the designed heuristics lead to the identification of configurations that produces satisfactory results.

Made available in DSpace on 2014-06-11T19:24:01Z (GMT). No. of bitstreams: 0 Previous issue date: 2012-04-13Bitstream added on 2014-06-13T18:20:04Z : No. of bitstreams: 1 menezes_d_me_sjrp.pdf: 3182347 bytes, checksum: 52e757c22a6f90de1feb14d78b6536f0 (MD5) / Universidade Estadual Paulista (UNESP) / A crescente necessidade por poder computacional, unida com o progresso atingido nos computadores pessoais e redes de interconexão, fez surgir diversas propostas, tais como grades computacionais, para tornar a computação de alto desempenho mais barata e acessível. Como contraponto, a maior acessibilidade aos recursos para computação de alto desempenho oferecida pelas grades, criou um universo de usuários tipicamente não especialistas em computação paralela, aumentando a demanda por ferramentas de avaliação de desempenho e de apoio ao desenvolvimento de sistemas. Visando criar uma ferramenta de simulação de grades com facilidade de uso, mesmo para usuários não especialistas em programação, vem sendo desenvolvido o simulador de grades com-putacionais iSPD ( iconic Simulator of Parallel and D istributed systems ). Como o escalonamento de tarefas é essencial na computação distribuída, o iSPD necessitava de uma interface para a especificação de escalonadores no ambiente simulado que mantivesse os conceitos de fácil modelagem. Este trabalho de pesquisa apresenta a proposta e desenvolvimento de técnicas que permitam que o usuário do iSPD modele novas políticas de escalonamento de forma automatizada e simples. Estas técnicas foram aplicadas em um novo componente capaz de interpretar algoritmos de escalonamento especificados pelo usuário adicionando-os a um banco de algoritmos pré-disponibilizados / The increasing demand for more computing power, associated with the progress in personal computers and interconnection networks, culminated in proposals to make high performance computing cheaper and more accessible such as computer grids. The greater accessibility to resources for high performance computing offered by grids created a universe of users lacking of parallel programming expertise, increasing the demand for tools for performance evaluation and systems development support. Aiming for the development of a grid performance evaluation to ol that could be easy to use, even for people not expert in parallel programming, iSPD (iconic Simulator of Parallel and Distributed systems) has been developed. Since task scheduling in distributed systems is a critical process, iSPD needed an easy approach to specify scheduling policies for a grid. This work presents the development, and its associated results, of a set of techniques that allow the iSPD’s user to model scheduling policies in an automated and simple way. These techniques were applied to a new component capable of interpreting scheduling algorithms specified by a user, adding them to a prebuilt algorithms database. Results achieved with this component show that the used approach is right

Orientador: Aleardo Manacero Junior / Banca: Mário Antônio Ribeiro Dantas / Banca: Marcos Antônio Cavenagui / Resumo: A crescente necessidade por poder computacional, unida com o progresso atingido nos computadores pessoais e redes de interconexão, fez surgir diversas propostas, tais como grades computacionais, para tornar a computação de alto desempenho mais barata e acessível. Como contraponto, a maior acessibilidade aos recursos para computação de alto desempenho oferecida pelas grades, criou um universo de usuários tipicamente não especialistas em computação paralela, aumentando a demanda por ferramentas de avaliação de desempenho e de apoio ao desenvolvimento de sistemas. Visando criar uma ferramenta de simulação de grades com facilidade de uso, mesmo para usuários não especialistas em programação, vem sendo desenvolvido o simulador de grades com-putacionais iSPD ( iconic Simulator of Parallel and D istributed systems ). Como o escalonamento de tarefas é essencial na computação distribuída, o iSPD necessitava de uma interface para a especificação de escalonadores no ambiente simulado que mantivesse os conceitos de fácil modelagem. Este trabalho de pesquisa apresenta a proposta e desenvolvimento de técnicas que permitam que o usuário do iSPD modele novas políticas de escalonamento de forma automatizada e simples. Estas técnicas foram aplicadas em um novo componente capaz de interpretar algoritmos de escalonamento especificados pelo usuário adicionando-os a um banco de algoritmos pré-disponibilizados / Abstract: The increasing demand for more computing power, associated with the progress in personal computers and interconnection networks, culminated in proposals to make high performance computing cheaper and more accessible such as computer grids. The greater accessibility to resources for high performance computing offered by grids created a universe of users lacking of parallel programming expertise, increasing the demand for tools for performance evaluation and systems development support. Aiming for the development of a grid performance evaluation to ol that could be easy to use, even for people not expert in parallel programming, iSPD (iconic Simulator of Parallel and Distributed systems) has been developed. Since task scheduling in distributed systems is a critical process, iSPD needed an easy approach to specify scheduling policies for a grid. This work presents the development, and its associated results, of a set of techniques that allow the iSPD's user to model scheduling policies in an automated and simple way. These techniques were applied to a new component capable of interpreting scheduling algorithms specified by a user, adding them to a prebuilt algorithms database. Results achieved with this component show that the used approach is right / Mestre

Computação em grade tem se estabelecido como um importante paradigma de computação, por permitir lidar com grandes quantidades de cálculos e dados e a colaboração de participantes geograficamente distribuídos. Esses sistemas devem ser organizados de forma completamente distribuídas, com cada participante mantendo informações sobre outros participantes, e as informações necessárias ao funcionamento do sistema circulando pela rede de overlay resultante. Quando novas propostas de algoritmos, protocolos ou infraestruturas para a grade são apresentadas, sua avaliação efetiva implica considerar sua operação com uma grande quantidade de participantes, o que invariavelmente significa que simulações devem ser realizadas. Este trabalho apresenta um sub-sistema de simulação de redes de overlay integrado à plataforma de simulação de computação de grade GridSim, de forma a facilitar o estudo desse tipo de estruturas e o desenvolvimento de novas propostas de protocolos e algoritmos para seu uso em grades de computadores. A metodologia adotada resultou no desenvolvimento de um Java package no GridSim com classes e interfaces que representam os conceitos básicos de redes de overlay e da interface dos clientes com essas redes. A partir dele foi possível desenvolver protocolos para redes estruturadas e não estruturadas no simulador e simulá-los utilizando cenários de grade de dados. Com os resultados obtidos foi possível observar que, os protocolos implementados no simulador estão de acordo com o que é encontrado na literatura. / Grid Computing has been established as an important computing paradigm, since it allows dealing with a large quantity of computations and data and the collaboration of geographically distributed participants. Those systems must be organized in a completely distributed way, with each participant knowing about some other participants, and the needed information to the functioning system circulating through the resulting overlay network. When new algorithm proposals, protocols or infrastructures to the grid are presented, its evaluation implies to consider its operation with a large number of participants, which invariably means that simulations must be done. This work presents a subsystem of overlay network simulation integrated to the GridSim simulation platform, in order to facilitate the study of that type of structures and the development of new protocols and algorithms for use in grid computers. The adopted methodology led up to the development of a Java package with classes and interfaces that represent the basic concepts of overlay networks and of the clients interface with those networks. Using this package, it was possible for develop protocols to structured and non-structured networks in the simulator and simulate them using data grid scenarios. With the obtained results it was possible to observe that the implemented protocols in the simulator agree with what is found in the literature.

A necessidade de poder computacional é crescente nas mais diversas áreas de atuação humana, tanto na indústria como no ambiente acadêmico. A Computação em Grade permite a interligação de recursos computacionais dispersos de maneira a permitir sua utilização mais efetiva, provendo aos usuários acesso simplificado ao poder computacional de diversas máquinas. Entretanto, os primeiros projetos de Computação em Grade objetivavam a interligação de máquinas paralelas ou aglomerados de alto desempenho e alto custo, acessível apenas a poucas instituições. Em contraponto ao alto custo das máquinas paralelas, os computadores pessoais se difundiram de maneira extraordinária nos últimos quinze anos. A expansão da base instalada foi acompanhada de uma crescente evolução na capacidade de tais máquinas. Os aglomerados dedicados de computadores pessoais representam a primeira tentativa de utilização de tais recursos para computação paralela e, apesar de serem amplamente utilizados, ainda requerem um investimento significativo. Entretanto, as mesmas instituições que adquirem tais aglomerados dedicados normalmente possuem centenas ou até milhares de computadores pessoais, os quais têm sua capacidade utilizada apenas parcialmente, resultando em grande ociosidade dos recursos. Os sistemas de Computação em Grade Oportunistas fornecem a possibilidade de se utilizar a base instalada de computadores pessoais de maneira a realizar computação utilizando a parte dos recursos que, de outra forma, estariam ociosos. Diversos sistemas dessa categoria foram desenvolvidos e utilizados com êxito para realizar tarefas de computação em diversas áreas como astronomia, biologia e matemática. O InteGrade, sistema de Computação em Grade Oportunista aqui apresentado, pretende oferecer características inovadoras para sistemas oportunistas, como suporte a aplicações paralelas que demandam comunicação entre nós e a utilização de coleta e análise de padrões de uso das máquinas da Grade, de maneira a permitir que se realize previsões sobre a disponibilidade das máquinas, permitindo uma utilização mais eficiente das mesmas. Além disso, o InteGrade emprega amplamente o paradigma de Orientação a Objetos, tanto na definição da arquitetura do sistema quanto na sua implementação. O trabalho aqui apresentado consistiu no estudo de outros projetos de Computação em Grade, na definição de uma arquitetura inicial para o InteGrade, passando pela descrição de seus principais módulos assim como sua implementação. Além disso, também descrevemos o projeto e a implementação de uma biblioteca para programação paralela no InteGrade utilizando o modelo BSP. / The past years witnessed a substantial increase in the need for computing power in various fields of human activity, including many industrial and academic endeavors. Grid Computing addresses those needs, providing seamless access to distributed computing resources, allowing one to use the combined computing power of various machines. However, the majority of the earlier Grid Computing systems focused on connecting high performance computers, which are very expensive resources only accessible to a small number of institutions. Contrasting with high cost parallel computing, personal computing experienced a tremendous growth in the last fifteen years. Personal computers are ubiquitous, cheap, and extremely powerful. The increase in processing power motivated the creation of dedicated PC clusters, allowing one to perform high performance computing tasks at a fraction of the price of a traditional parallel machine. Although cheaper, building a cluster still requires a considerable investment. At the same time, institutions that rely on the processing power of dedicated clusters typically own a large number of personal computers that are idle for most of the time, resulting in a loss of computing power that could otherwise be used for computing tasks. Opportunistic Grid Computing systems allow the use of the idle computing power of personal computers to perform useful computation. Many Opportunistic systems were successfully employed to solve problems in areas such as astronomy, biology, and mathematics. InteGrade, an Opportunistic Grid Computing system developed in the context of this thesis, aims to provide features not commonly available in other Opportunistic systems, such as support for parallel applications that require communication among application nodes, and usage pattern collection and analysis, which will allow for better scheduling decisions by providing predictions about future resource availability. InteGrade is a fully object oriented system, featuring both object oriented architecture and implementation. The work presented in this thesis includes a survey of existing Grid Computing systems and the definition of the InteGrade initial architecture, including the specification and implementation of various software modules. We also present the design and implementation of a parallel programming library that implements the BSP computing model, which allows one to write parallel applications that execute on InteGrade.

Esta tese de doutorado apresenta investigações, modelos e implementações de um middleware para grades computacionais denominado Grid Anywhere. Essa plataforma tem como objetivo viabilizar a construção de grades computacionais que permitam um maior número de provedores e consumidores de recursos. Para isso, são apresentadas soluções para gerenciamento de segurança, carregamento de aplicações, hospedagem de objetos, execução remota de métodos, desenvolvimento de aplicações e transporte alternativo de mensagens SOAP (utilizando o sistema de televisão digital interativa e encapsulando uma mensagem SOAP dentro de outro documento desse mesmo protocolo). Como aplicações da plataforma foram criadas duas grades computacionais com arquiteturas distintas. A primeira permite que um ambiente de compartilhamento de recursos possa ser utilizado como infraestrutura para prover plataforma como serviço (PaaS) para usuários convencionais (domésticos ou corporativos) em um ambiente de computação em nuvem. A outra arquitetura tem como foco o fortalecimento de grades computacionais desktop por meio da utilização de receptores digitais de TV (set-top box) como provedores de recursos onde a distribuição de objetos e as mensagens SOAP ocorrem por difusão. Os modelos foram validados por meio de testes reais feitos utilizando as respectivas implementações, o que demonstrou que são funcionais. Tais implementações disponibilizam produtos que cooperam com a inovação do desenvolvimento de aplicações para grades computacionais e também para outras categorias de sistemas distribuídos / This PhD thesis presents investigations, models and implementations of a computational grid middleware named Grid Anywhere. This platform aims at allowing the build of computational grid systems, which enable the increase of the number of participants as consumers and resource providers. In order to do this, new solutions are presented to manage security policies, load applications, host objects, execute remote methods, develop application and alternative transport of SOAP messages in a flexible way (using the interactive digital television system and inserting one SOAP message inside another document of this same protocol). As applications of this middleware, two different architectures of computational grids were created. The first one enables an environment to share resources that are used as infrastructure to provide platform as a service (PaaS) in a cloud computing system. The goal of the second architecture is to increase the computational power of desktop computational grid systems using digital television receivers (set-top box) as resource providers, where the distribution of objects and SOAP messages occurs via broadcasting. The models were validated by means of real tests using the respective implementations, which showed that the platform is functional. Such implementations provide software products that help the innovation and development of computational grid applications and also others types of distributed systems

Pesquisas em sistemas paralelos e distribuídos de alto desempenho apresentam limitações no que se refere a análise, projeto, implementação e execução automática e transparente de aplicações. Essas limitações motivaram o projeto do MidHPC (do inglês Middleware for High Performance Computing, ou seja, Middleware para Computação de Alto Desempenho), que balanceia transparente e automaticamente cargas de trabalho considerando a capacidade dos recursos computacionais e o comportamento das aplicações envolvendo: processamento, acesso a disco, memória e rede. Para utilizar todo o potencial do MidHPC, aplicações devem ser escritas utilizando o modelo de programação concorrente, tal como o padrão POSIX de threads (pthreads). Aplicações desenvolvidas seguindo esse modelo de programação podem ser executadas em ambientes de Grid sem alteração de código fonte ou recompilação. Durante a execução, tarefas de uma mesma aplicação paralela comunicam-se, transparentemente, por meio de um sistema de memória compartilhada distribuída. O objetivo deste trabalho foi desenvolver alguns dos módulos do projeto MidHPC e integrar demais ferramentas que haviam sido previamente desenvolvidas pelo grupo. Este trabalho permite aplicar, em ambientes reais, todos os conceitos de escalonamento de processos estudados e desenvolvidos durante o projeto MidHPC / Current researches on parallel and distributed systems present limitations regarding the analysis, design, implementation and automatic execution of high performance applications. Those limitations motivated the design of MidHPC (Middleware for High Performance Computing), which transparently and automatically balances workloads considering computing resources capacities and application behavior such as: processing, network, memory and disc accesses. In order to use all of the MidHPC potential, applications must be developed following the concurrent programming model, using the POSIX thread standard (pthreads). Applications developed according to this programming model can be executed in the Grid environment with no source code modification nor recompilation. During the execution, tasks of the same application communicate, transparently, using a distributed shared memory system. The objective of this master thesis was to develop modules of the MidHPC project and integrate tools that were previously developed by the research group. This work allows applying, in real-world environments, all process scheduling concepts studied and developed during the MidHPC project

A computação em nuvem tem recebido um grande destaque, ao propor um novo e eficiente mecanismo para disponibilizar recursos computacionais. Dos investimentos cada vez maiores nessa plataforma, inclusive pela academia, surge a oportunidade de compartilhar estes recursos computacionais entre diferentes instituições. As grades computacionais são um mecanismo bem estabelecido para o compartilhamento de alguns tipos de recursos computacionais. Através do entendimento de como isso é feito nestas estruturas, esse trabalho avalia as soluções existentes e propõe um arquitetura alternativa que permite a criação das federações de nuvens computacionais. / Cloud computing is a new model to provide computing resources. The growing interest and investments on this platform creates an opportunity to share this resources across different institutions. The grid computing is the standard way of achieving this. Using grid as reference, this work survey current technologies and present an alternative design to allow the development of academic cloud computing federations.

Made available in DSpace on 2016-08-17T14:53:19Z (GMT). No. of bitstreams: 1 Antonio Eduardo Bernardes Viana.pdf: 1275198 bytes, checksum: 77012d28ed5d52f89b69093e99e04279 (MD5) Previous issue date: 2011-09-05 / Computers grids are characterized by the high dynamism of its execution environment, resources and applications heterogeneity, and the requirement for high scalability. These features turn tasks such as configuration, maintenance and recovery of failed applications quite challenging and is becoming increasingly difficult to perform them only by human agents. The autonomic computing paradigm denotes computer systems capable of changing their behavior dynamically in response to changes in the execution environment. For achieving this, the software is generally organized following the MAPE-K (Monitoring, Analysis, Planning, Execution and Knowledge) model, in which managers perform the execution environment sensing activities, context analysis, planning and execution of dynamic reconfiguration actions, based on shared knowledge about the controlled system. In this work we present an autonomic mechanism based on the MAPE-K model to provide fault tolerance for applications running on computer grids, which is capable of monitoring the execution environment and, based on the evaluation of the collected data, to decide which reconfiguration actions must eventually be applied to the fault tolerance mechanism in order to keep the system in balance with the goals of minimizing the applications average completion time and to provide a high success rate in completing their tasks. This paper also describes the performance evaluation of the proposed autonomic mechanism, accomplished through the use of simulation techniques that took into account several opportunistic desktop grids typical environmental scenarios. / Grades de computadores são caracterizadas pelo alto dinamismo de seu ambiente de execução, alta heterogeneidade de recursos e tarefas e por requererem grande escalabilidade. Essas características tornam tarefas como configuração, manutenção e recuperação da execução de aplicações em caso de falhas bastante desafiadoras e cada vez mais difíceis de serem realizadas exclusivamente por agentes humanos. A computação autonômica denota sistemas computacionais capazes de mudar seu comportamento dinamicamente em resposta a variações do ambiente de execução. Para isso, o software é geralmente organizado seguindo-se o modelo MAPE-K (Monitoring, Analysis, Planning, Execution and Knowledge), no qual gerentes autonômicos realizam as atividades de sensoriamento do ambiente de execução, análise de contexto, planejamento e execução de ações de reconfiguração dinâmica, compartilhando algum conhecimento sobre o sistema controlado. Nesse trabalho apresentamos um mecanismo autonômico baseado no modelo MAPE-K para prover tolerância a falhas na execução de aplicações em grades de computadores capaz de monitorar o ambiente de execução e, a partir da avaliação dos dados coletados, decidir quais ações de reconfiguração devem eventualmente ser aplicadas ao mecanismo de tolerância falhas para manter o sistema em equilíbrio com os objetivos de minimizar o tempo médio de conclusão das aplicações e prover alta taxa de sucesso na conclusão de suas tarefas. Este trabalho descreve ainda a avaliação de desempenho do mecanismo autonômico proposto, realizada através do uso técnicas de simulação e que levou em consideração aos diversos cenários típicos de ambientes de desktop grids oportunistas.