Esta dissertação tem por objetivo apresentar a proposta de uma política de escalonamento para grids computacionais. Essa política, intitulada Dynamic Max-Min2x, é orientada ao escalonamento de aplicações cujas tarefas não realizam comunicação entre si e visa a redução do tempo de resposta dessas aplicações através da utilização de atribuição dinâmica de tarefas e replicação das mesmas. Experimentos, feitos através de simulação, mostram que o tempo médio de resposta de aplicações utilizando-se a Dynamic Max-Min2x é inferior ao de outras políticas da literatura. Análises dos resultados desses experimentos apontam que esse tempo tende a ser mais atrativo principalmente quando as tarefas necessitam de muito processamento e quando há grande variação de carga no sistema, caracteristicas comuns em grids computacionais. Além disso, esta dissertação apresenta a implementação de um framework utilizando-se o Globus Toolkit, onde é possível a inserção de políticas de escalonamento para a submissão inteligente de tarefas em um grid computacional. / This Master thesis proposes a new grid scheduling policy called Dynamic Max-Min2x. This policy focuses on applications in which tasks do not communicate among themsenves and targets a response time reduction of these applications through the use of dynamic task distribution and replication techniques. Experiments, done using simulations, have shown that the response time related to Dynamic Max-Min2x is smaller than others policies found in literature. Analysis of the results have demonstrated that this time tends to become more attractive when tasks do not need much processing power and when there is a great load variation in the system, characteristics frequently found in grids. Furthermore, this thesis presents the implementation of a framework using Globus Toolkit, which makes possible the new scheduling policies insertion to provide an intelligent submission tasks in a computational grid system.

Esta dissertação tem por objetivo apresentar a proposta de uma política de escalonamento para grids computacionais. Essa política, intitulada Dynamic Max-Min2x, é orientada ao escalonamento de aplicações cujas tarefas não realizam comunicação entre si e visa a redução do tempo de resposta dessas aplicações através da utilização de atribuição dinâmica de tarefas e replicação das mesmas. Experimentos, feitos através de simulação, mostram que o tempo médio de resposta de aplicações utilizando-se a Dynamic Max-Min2x é inferior ao de outras políticas da literatura. Análises dos resultados desses experimentos apontam que esse tempo tende a ser mais atrativo principalmente quando as tarefas necessitam de muito processamento e quando há grande variação de carga no sistema, caracteristicas comuns em grids computacionais. Além disso, esta dissertação apresenta a implementação de um framework utilizando-se o Globus Toolkit, onde é possível a inserção de políticas de escalonamento para a submissão inteligente de tarefas em um grid computacional. / This Master thesis proposes a new grid scheduling policy called Dynamic Max-Min2x. This policy focuses on applications in which tasks do not communicate among themsenves and targets a response time reduction of these applications through the use of dynamic task distribution and replication techniques. Experiments, done using simulations, have shown that the response time related to Dynamic Max-Min2x is smaller than others policies found in literature. Analysis of the results have demonstrated that this time tends to become more attractive when tasks do not need much processing power and when there is a great load variation in the system, characteristics frequently found in grids. Furthermore, this thesis presents the implementation of a framework using Globus Toolkit, which makes possible the new scheduling policies insertion to provide an intelligent submission tasks in a computational grid system.

Submitted by Aline Batista (alinehb.ufpel@gmail.com) on 2018-04-19T13:23:06Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_Fernando_Angelin.pdf: 1204993 bytes, checksum: 3cf6b9f14201e8e7168987d5dfd7354b (MD5) / Approved for entry into archive by Aline Batista (alinehb.ufpel@gmail.com) on 2018-04-19T14:44:30Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_Fernando_Angelin.pdf: 1204993 bytes, checksum: 3cf6b9f14201e8e7168987d5dfd7354b (MD5) / Made available in DSpace on 2018-04-19T14:44:39Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_Fernando_Angelin.pdf: 1204993 bytes, checksum: 3cf6b9f14201e8e7168987d5dfd7354b (MD5) Previous issue date: 2017-08-30 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / A Computação em Nuvem vem apresentando um crescimento extraordinário nos últimos anos, em questão de quantidade e variedade de serviços oferecidos, estes, tomando uma forma onipresente no cotidiano. Com isso, usuários que necessitam, geralmente, de alta disponibilidade de processamento, buscam na Nuvem soluções que diminuam custos pontuais, como construção e manutenção de uma infraestrutura privada. A saída para tal é alugar infraestrutura em uma Nuvem ou até mesmo utilizar a Nuvem para dimensionar uma infraestrutura própria que supra sua demanda, sem sub ou superdimensionamento. Este trabalho apresenta um modelo de simulação mista, o qual busca comparar uma infraestrutura física limitada à uma infraestrutura virtual simulada com as mesmas características. Para isto, foram executados testes em uma infraestrutura física limitada e testes de simulação utilizando o CloudSim, escalando o tamanho das tarefas do tipo Bag of Tasks (BoT) e o número de hosts e núcleos computacionais. Para tais testes foram implementados algoritmos que realizam a transformação da entrada BoT para a execução na infraestrutura física e na simulada. Também, foram prototipadas classes para complementação do CloudSim, tanto para leitura dos BoTs transformados quanto para a criação da infraestrutura simulada.Com os testes realizados, notamos a estabilidade do sistema, quando simulados testes com BoT pequenos, médios e grandes em infraestruturas que, para nosso caso, foram classificadas como pequena, média e grande. Outra observação importante realizada foi a de que quando a infraestrutura oferece carga externa à execução desejada (utilização por outro usuário, por exemplo), o tempo final de execução dos BoTs aumenta proporcionalmente à quanto a infraestrutura está em utilização. Também percebemos que a granularidade das tarefas impacta na execução. Com relação à escalabilidade, foi percebido que BoTs classificados como grandes para infraestruturas categorizadas como pequenas foram agrupados como pequenos para infraestruturas identificadas como grandes. / Cloud Computing has been showing extraordinary growth in recent years, in terms of the quantity and variety of services offered, these, taking a ubiquitous form in everyday life. As a result, users who generally require high availability of processing, search on cloud solutions that reduce specific costs, such as building and maintaining a private infrastructure. The way out is to rent infrastructure in a Cloud or even use the Cloud to size an infrastructure that suits your demand, without sub or oversize. This dissertation presents a mixed simulation model, which seeks to compare a limited physical infrastructure to a simulated virtual infrastructure with the same characteristics. For this, tests were performed on a limited physical infrastructure and simulation tests using CloudSim, scaling the size of Bag of Tasks (BoT) tasks and the number of hosts and processing cores. For such tests, were implemented algorithms that perform the transformation of the BoT input for execution in real infrastructure and simulation. Also, classes to complement CloudSim were prototyped, both for reading the transformed BoTs and for creating the simulated infrastructure. With the tests carried out, we noticed the stability of the system when simulated small, medium and large BoT tests in infrastructures that, in our case, were classified as small, medium and large. Another important observation was that when the infrastructure offers external load to the desired execution (use by another user, for example), the final execution time of the BoTs increases proportionally to how much the infrastructure is in use. We also realize that the granularity of tasks impacts execution. With regard to scalability, it was noticed that BoTs classified as large for infrastructures categorized as small were grouped as small for infrastructures identified as large.

Cloud computing is emerging as a promising platform for compute and data intensive scientific applications. Thanks to the on-demand elastic provisioning capabilities, cloud computing has instigated curiosity among researchers from a wide range of disciplines. However, even though many vendors have rolled out their commercial cloud infrastructures, the service offerings are usually only best-effort based without any performance guarantees. Utilization of these resources will be questionable if it can not meet the performance expectations of deployed applications. Additionally, the lack of the familiar development tools hamper the productivity of eScience developers to write robust scientific high performance computing (HPC) applications. There are no standard frameworks that are currently supported by any large set of vendors offering cloud computing services. Consequently, the application portability among different cloud platforms for scientific applications is hard. Among all clouds, the emerging Azure cloud from Microsoft in particular remains a challenge for HPC program development both due to lack of its support for traditional parallel programming support such as Message Passing Interface (MPI) and map-reduce and due to its evolving application programming interfaces (APIs). We have designed newer frameworks and runtime environments to help HPC application developers by providing them with easy to use tools similar to those known from traditional parallel and distributed computing environment set- ting, such as MPI, for scientific application development on the Azure cloud platform. It is challenging to create an efficient framework for any cloud platform, including the Windows Azure platform, as they are mostly offered to users as a black-box with a set of application programming interfaces (APIs) to access various service components. The primary contributions of this Ph.D. thesis are (i) creating a generic framework for bag-of-tasks HPC applications to serve as the basic building block for application development on the Azure cloud platform, (ii) creating a set of APIs for HPC application development over the Azure cloud platform, which is similar to message passing interface (MPI) from traditional parallel and distributed setting, and (iii) implementing Crayons using the proposed APIs as the first end-to-end parallel scientific application to parallelize the fundamental GIS operations.

Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-08-29T18:03:18Z No. of bitstreams: 1 PAULO EDUARDO E SILVA BARBOSA - DISSERTAÇÃO PPGCC 2007..pdf: 549401 bytes, checksum: ffeac306fd7624758ab88a5062b5a5ae (MD5) / Made available in DSpace on 2018-08-29T18:03:18Z (GMT). No. of bitstreams: 1 PAULO EDUARDO E SILVA BARBOSA - DISSERTAÇÃO PPGCC 2007..pdf: 549401 bytes, checksum: ffeac306fd7624758ab88a5062b5a5ae (MD5) Previous issue date: 2007-02-23 / Todo programador ou engenheiro de software lida com um problema crônico na concepção de seus sistemas: violações das especificações ou requisitos de projeto. Essas violações necessitam de uma captura imediata, pois geralmente originam falhas que só podem ser descobertas tardiamente, a um custo de reparo bastante elevado. Nos últimos anos, pesquisadores da ciência da computação estão conseguindo um progressonotávelnodesenvolvimentodetécnicaseferramentasqueverificamautomaticamente requisitos e projeto. A abordagem em maior evidência chama-se verificação de modelos (model-checking). Verificação de modelos é uma técnica formal e algorítmica de se fazer verificação de propriedades de sistemas com um espaço de estados finito. Suas principais vantagens são o poder de automação e a qualidade dos resultados produzidos. Porém, esta técnica sofre de um problema fundamental — a explosão do espaço de estados — que se deve ao crescimento exponencial na estrutura que representa o comportamento de sistemas e à falta de recursos computacionais disponíveis para lidar com grandes quantidades de informação sobre o comportamento dos sistemas sob verificação. Este trabalho concentra-se em verificação de modelos utilizando plataformas de distribuição como tentativa de aliviar o problema citado. Mais detalhadamente, investigamos o uso de grades computacionais que rodam aplicações bag-of-tasks e formulamos algoritmos específicos para o processo de verificação. Aplicações bag-of-tasks são aplicações paralelas cujas tarefas são independentes entre si. Elas são as aplicações mais apropriadas para grades computacionais por permitirem heterogeneidade dos recursos. Aplicamos ferramentas de grades computacionais como uma camada entre a ferramenta de verificação e os recursos distribuídos compartilhados existentes e comparamos os quesitos desempenho e escala nos sistemas a serem verificados em relação às versões centralizadas de verificadores. A plataforma empregada na distribuição é muito atrativa no quesito custo, controle e escala. Através do compartilhamento de uma simples máquina, o engenheiro de sistemas ganha acesso a uma comunidade provedora de uma grande quantidade de recursos heterogêneos e automaticamente gerenciados para se fazer computação paralela seguindo sua filosofia. Durante o trabalho, essas vantagens são comparadas com suas desvantagens, como o alto custo de comunicação e a dificuldade de particionar o processo, por exemplo. O trabalho envolveu a produção das seguintes ferramentas: uma API genérica para a geração distribuída de grafos que representam o comportamento de sistemas concorrentes sobre plataformas de grades computacionais bag-of-tasks, um protótipo de verificação CTL que age de duas maneiras distintas, sendo on-the-fly durante a geração do espaço de estados ou sobre esse espaço de estados distribuído representado explicitamente seguindo a mesma filosofia de comunicação e versões simplificadas de simuladores de sistemas concorrentes sob alguns formalismos baseados em redes de Petri. Resultados experimentais sobre a aplicação deste ferramental são apresentados. / Every programmer or software engineer deals with a chronic problem during the conception of their systems: violations in the project requirements. These violations need to be discovered early be cause they generally produce errors that can be discovered later, at a very expensive cost to repair. In recent years, researchers in computer science are obtaining a notable progress in the development of techniques and tools to automatically verify requirements and designs. The most evidently approach is called model-checking. Model checking is a formal and algorithmic technique to perform properties verification in a finite state space of systems. Its main advantages are the automation power and the quality of the produced results. However this technique suffers from one big and foundamental problem - the state space explosion which is the absense of computational resources available today’s to deal with large amounts of information about the behavior of the systems under verification. This work investigates a solution to verify models in a distributed way using computational grids which runs bag-of-tasks applications, alleviating the mentioned problem. Bagof-tasks applications are those parallel applications which tasks arei ndependent of each other and are the applications most suited for computational grids because they allow heterogeneity between resources. We employ computational grid tools as a layer between between the verificationtooland the distributed shared resources. This verification is performed by adapted CTL algorithms to the bag-of-tasks philosophy. So we intend to obtain improvements in speed-up and scalability in the systems to be checked when compared to centralized versions of verifiers produced in side the group. Moreover,the employed middleware in the distribution is very attractive in the cost and control aspects. By sharing a single machine, the system engineer obtains access to a community that provides large amounts of heterogeneous resources automatically managed to perform parallel computation. This work included the production of the following tools: a generic API to the distributed generation of graphs that describes the behavior of concurrent systems under bag-of-tasks computational grids platforms, a prototype to check for CTL properties using on-the-fly algorithms or iterating over the generated fragments of the distributed graph. We also implemented simplified versions of simulators of concurrent systems following some formalisms based on Petri nets. Experimental results are also presented.