Orientador: Aleardo Manacero Junior / Banca: Paulo Sérgio Lopes de Souza / Banca: Edson Borin / Resumo: A complexidade crescente das aplicações e o grande volume de dados utilizados por elas levam a um uso sempre crescente de sistemas distribuídos de alto desempenho. Nas últimas décadas o impacto do consumo de energia cresceu em relevância para o bom funcionamento desses sistemas, e seu tratamento é um grande desafio aos projetistas de hardware, desenvolvedores de aplicações e administradores. A dificuldade desse tratamento decorre do conflito entre consumo de energia e desempenho. Reduzir o consumo de energia das máquinas em um sistema distribuído causa prejuízos ao desempenho, enquanto fazer com que elas trabalhem mais rapidamente proporciona melhor desempenho mas causa aumento no consumo de energia. Nesse cenário, as políticas de escalonamento de tarefas podem levar em conta o consumo de energia, auxiliando no tratamento do problema. Este texto apresenta o desenvolvimento e avaliação de um novo algoritmo de escalonamento de tarefas independentes em grades computacionais federadas, o EHOSEP (Energy-aware Heterogeneous Owner-Share Enforcement Policy). O objetivo do novo algoritmo é tratar o consumo de energia, associando-o a um critério de justiça de propriedade. Esse critério de justiça decorre das chamadas grades federadas ou cooperativas, formadas por recursos computacionais de diferentes proprietários, procurando estimular seu compartilhamento pela garantia de uso justo. Os resultados obtidos com a simulação da aplicação do EHOSEP em diferentes modelos de grade mostram que é... / Abstract: The increasing complexity of applications and the large volume of data used by them lead to an ever-increasing use of high-performance distributed systems. In recent decades the energy consumption is becoming more relevant to the proper functioning of these systems, and its management is a major challenge to hardware designers, application developers and administrators. The difficulty of this management arises from the conflict between power consumption and performance. Reducing energy consumption of machines in a distributed system reduces performance as well, while making machines work faster provides better performance at a cost of an increase in energy consumption. In this scenario, task scheduling policies may also consider energy consumption, helping to solve this problem. This document presents the development and evaluation of a new scheduling algorithm for independent tasks in federated computing grids, the EHOSEP (Energyaware Heterogeneous Owner-Share Enforcement Policy). The goal of the new algorithm is to address energy consumption by associating it with a ownership fairness criterion. This fairness criterion stems from the so-called federated or cooperative grids, formed by computational resources of different owners, aiming the resource sharing by the guarantee of fair usage. Results achieved with the simulation of EHOSEP applied to different grid models show that it is possible to stimulate the use of the grid even limiting energy consumption / Mestre

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2011 / Made available in DSpace on 2012-10-26T07:41:58Z (GMT). No. of bitstreams: 0Bitstream added on 2013-07-16T20:48:33Z : No. of bitstreams: 1 293086.pdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Grades computacionais são uma estrutura complexa constituída com hardware e software e que provê acesso confiável, pervasivo e de baixo custo a recursos computacionais de alto desempenho. Middlewares de grade fazem parte desta infraestrutura e são responsáveis por esconder a complexidade deste ambiente aos seus usuários, permitindo que estes usem os recursos disponíveis para a execução de aplicações e armazenamento de dados de maneira facilitada. Os meta-escalonadores fornecem serviços para submissão de aplicação a serem executadas em recursos computacionais de uma grade. Usualmente o mecanismo de seleção de recursos do meta-escalonador é baseado numa descrição sintática ou semântica dos requisitos de hardware e software necessários para executar a aplicação, que é informado pelo usuário. O problema é que esta abordagem requer que o usuário tenha um bom conhecimento sobre as características que recursos computacionais podem ter e como estes afetam a execução da aplicação do usuário. Isto ocorre porque as aplicações possuem características estruturais e comportamentais que restringem quais recursos são capazes de executá-la. E tais características também podem afetar o desempenho da aplicação, dependendo das características do recurso. Nesta dissertação é proposta uma alternativa heurística para a seleção de recursos computacionais num ambiente de grade de múltiplos agregados, onde o usuário descreve as características das aplicações e o mecanismo de seleção de recursos avalia o nível de adequação dos recursos computacionais disponíveis no ambiente de grade. Tal mecanismo se utiliza de descrição ontológica das características da aplicação para seleção e de um sistema de controle difuso para obter os níveis de adequação de cada um dos recursos computacionais. Para validação da proposta, o simulador de ambientes de grade GridSim foi utilizado e foram verificadas melhorias em alguns cenários de simulação.

O surgimento de volumes de dados na ordem de petabytes cria a necessidade de desenvolver-se novas soluções que viabilizem o tratamento dos dados através do uso de sistemas de computação intensiva, como o MapReduce. O MapReduce é um framework de programação que apresenta duas funções: uma de mapeamento, chamada Map, e outra de redução, chamada Reduce, aplicadas a uma determinada entrada de dados. Este modelo de programação é utilizado geralmente em grandes clusters e suas tarefas Map ou Reduce são normalmente independentes entre si. O programador é abstraído do processo de paralelização como divisão e distribuição de dados, tolerância a falhas, persistência de dados e distribuição de tarefas. A motivação deste trabalho é aplicar o modelo de computação intensiva do MapReduce com grande volume de dados para uso em ambientes desktop grid. O objetivo então é investigar os algoritmos do MapReduce para adequar a computação intensiva aos ambientes heterogêneos. O trabalho endereça o problema da heterogeneidade de recursos, não tratando neste momento a volatilidade das máquinas. Devido às deficiências encontradas no MapReduce em ambientes heterogêneos foi proposto o MR-A++, que é um MapReduce com algoritmos adequados ao ambiente heterogêneo. O modelo do MR-A++ cria uma tarefa de medição para coletar informações, antes de ocorrer a distribuição dos dados. Assim, as informações serão utilizadas para gerenciar o sistema. Para avaliar os algoritmos alterados foi empregada a Análise 2k Fatorial e foram executadas simulações com o simulador MRSG. O simulador MRSG foi construído para o estudo de ambientes (homogêneos e heterogêneos) em larga escala com uso do MapReduce. O pequeno atraso introduzido na fase de setup da computação é compensado com a adequação do ambiente heterogêneo à capacidade computacional das máquinas, com ganhos de redução de tempo de execução dos jobs superiores a 70 % em alguns casos. / The emergence of data volumes in the order of petabytes creates the need to develop new solutions that make possible the processing of data through the use of intensive computing systems, as MapReduce. MapReduce is a programming framework that has two functions: one called Map, mapping, and another reducing called Reduce, applied to a particular data entry. This programming model is used primarily in large clusters and their tasks are normally independent. The programmer is abstracted from the parallelization process such as division and data distribution, fault tolerance, data persistence and distribution of tasks. The motivation of this work is to apply the intensive computation model of MapReduce with large volume of data in desktop grid environments. The goal then is to investigate the intensive computing in heterogeneous environments with use MapReduce model. First the problem of resource heterogeneity is solved, not treating the moment of the volatility. Due to deficiencies of the MapReduce model in heterogeneous environments it was proposed the MR-A++; a MapReduce with algorithms adequated to heterogeneous environments. The MR-A++ model creates a training task to gather information prior to the distribution of data. Therefore the information will be used to manager the system. To evaluate the algorithms change it was employed a 2k Factorial analysis and simulations with the simulant MRSG built for the study of environments (homogeneous and heterogeneous) large-scale use of MapReduce. The small delay introduced in phase of setup of computing compensates with the adequacy of heterogeneous environment to computational capacity of the machines, with gains in the run-time reduction of jobs exceeding 70% in some cases.

Submitted by LIVIA FREITAS (livia.freitas@ufba.br) on 2016-01-22T16:49:23Z No. of bitstreams: 1 DissertacaoJuremaBarretto.pdf: 2018211 bytes, checksum: 89f20f282ba660ef00dd2567aed593b5 (MD5) / Approved for entry into archive by Uillis de Assis Santos (uillis.assis@ufba.br) on 2016-02-15T21:53:59Z (GMT) No. of bitstreams: 1 DissertacaoJuremaBarretto.pdf: 2018211 bytes, checksum: 89f20f282ba660ef00dd2567aed593b5 (MD5) / Made available in DSpace on 2016-02-15T21:53:59Z (GMT). No. of bitstreams: 1 DissertacaoJuremaBarretto.pdf: 2018211 bytes, checksum: 89f20f282ba660ef00dd2567aed593b5 (MD5) / Sistemas automatizados de identificacao atraves da impressao digital (AFIS) tem sido bastante utilizados como alternativas aos recursos tradicionais, tais como senhas e identificação em papel. Uma das suas maiores aplicações esta na segurança pública, na identificação civil e criminal de indivíduos. Processos automatizados empregados no reconhecimento de duas impressões digitais (um para um) são simples e eficientes. O grande entrave consiste em efetuar verificações de um para muitos. A depender da ordem de grandeza da base de dados, esse procedimento pode levar muito tempo, devido a grande necessidade de processamento requerida. Para minimizar o tempo de busca, costuma-se adotar gerenciadores de banco de dados especializados e computação de alto desempenho. O que dificulta, por exemplo, a implantação de um sistema de reconhecimento criminal no âmbito estatal, mais ainda no âmbito nacional. Devido a particularidades de cada Estado, como por exemplo, disponibilidade de recursos financeiros, além do aumento progressivo da base de dados desse tipo de informação. Alternativas como o uso de programação paralela e distribuída, e cluster de computadores podem ser adotadas para obter menor tempo de busca. Porém, tornam-se ineficientes quando se trata de grandes bases de dados que têm crescimento constante e que possuem restrições de segurança para assegurar a privacidade dos dados compartilhados. As grades computacionais, dentre outros recursos, viabilizam a execução de aplicações sobre processadores dispersos geográfica e administrativamente proporcionando maior capacidade de processamento (o que implica na redução do tempo de resposta) e melhor custo-benefício que as plataformas centralizadas tradicionais. Ao mesmo tempo, ao utiliza-las, e possível compartilhar grande quantidade de dados distribuídos e dispor de meios para implementar recursos de segurança e autenticação afim de manter o sigilo e independência dos dados. Essa dissertação apresenta uma arquitetura para integração de dados de impressão digital dispersos geograficamente através do uso de grade computacional para atender as demandas de alto processamento computacional. Para atingir esse objetivo, prove o compartilhamento de informações através de um ambiente seguro, consistente, independente e de baixo custo, fundamentando-se em soluções de código aberto e hardware heterogêneo. Para validar a arquitetura, foi desenvolvida uma aplicação para identificação criminal através do uso de impressões digitais que pode ser executada em plataformas como, computadores pessoais (desktop ou notebook) e dispositivos móveis - mais especificamente em PDA’s. Os resultados obtidos, a partir de testes realizados em alguns cenários representativos, comprovam que o uso de grade computacional melhora o tempo de resposta para esse tipo de aplicação e habilita o uso de sistemas AFIS em larga escala.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação. / Made available in DSpace on 2013-07-16T00:45:32Z (GMT). No. of bitstreams: 1 229512.pdf: 851100 bytes, checksum: 14a20c287c2eb8408d2ad0d986363fbc (MD5) / A computação em grid (ou computação em grade) consiste em uma forma de computação distribuída onde o foco principal é o compartilhamento coordenado de recursos em larga escala e resolução de problemas em organizações virtuais dinâmicas e multi-institucionais. Porém, tal compartilhamento deve ser altamente controlado, para garantir a segurança dos recursos envolvidos. Este trabalho se baseia na especificação OGSA (Open Grid Service Architecture) proposta pelo GGF (Global Grid Forum), em particular no Globus Toolkit 3 que a implementa, e apresenta uma proposta de extensão ao módulo de monitoramento e descoberta de recursos (MDS), para filtrar os resultados retornados baseado nos atributos do usuário e nas políticas do recurso.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação / Made available in DSpace on 2013-07-16T01:09:35Z (GMT). No. of bitstreams: 0 / Os grids computacionais são configurações de alto desempenho que vêm obtendo espaço entre as organizações, pois provêem o compartilhamento de recursos e serviços agregando diferentes configurações. Estes ambientes são considerados eficientes para executar aplicações e são viáveis financeiramente se comparados à outras soluções computacionais. As organizações que compõem o grid podem estar geograficamente distribuídas e serem as mais diversas. No entanto, um desafio para a comunidade grid é dispor o acesso aos recursos e serviços de forma segura, coordenada e transparente, abstraindo a complexidade e heterogeneidade dos dispositivos para os usuários.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação. / Made available in DSpace on 2012-10-21T18:20:26Z (GMT). No. of bitstreams: 1 213358.pdf: 2274298 bytes, checksum: 5d13d1695c266ae8d6313f30d3d26adb (MD5)

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação / Made available in DSpace on 2012-10-22T01:52:05Z (GMT). No. of bitstreams: 1 208061.pdf: 1941897 bytes, checksum: c49df2c6f5986d03c157eb9380fb4411 (MD5) / Com o objetivo de facilitar a busca e seleção de recursos em ambientes de computação em grid, esta dissertação apresenta como alternativa a utilização da abordagem de ontologias. Este paradigma pode prover a descrição dos recursos disponíveis no grid, auxiliando nas suas maneiras de atuação e descrevendo-os sintática e semanticamente na forma de um vocabulário comum ao domínio. Nesta alternativa, as requisições de acesso agem diretamente na ontologia, distanciando os usuários das restrições para acesso ao ambiente.

Resumo: A necessidade de acesso, armazenamento e processamento de grande quantidade de dados, resulta em uma alta demanda de processamento, principalmente em astronomia, medicina, física, biologia e engenharia. Grades de dados são meios para prover e gerenciar recursos computacionais distribuídos para aplicações científicas, as quais demandam poder computacional ou utilizam equipamentos de uso específico na ciência. Alguns dos benefícios da utilização da arquitetura de grade são: tempo para executar uma tarefa complexa, possibilidade de um sistema unificado, interface padronizada, maneira comum de executar cálculos e gerenciar dados resultantes, transferência eficiente de dados, velocidade e armazenamento de grande quantidade de dados. As grades de dados permitem a manipulação de grandes quantidades de dados e o compartilhamento coordenado e heterogêneo dos dados distribuídos. Já os metadados descrevem os dados, como meio de identificar e fornecer acesso e recuperação dos mesmos. Para manipulação dos metadados, é necessária uma padronização para favorecer a interoperabilidade dos dados. Quando não existe padronização dos metadados criados, o acesso e a recuperação dos dados e recursos da grade tornam-se tarefas difíceis devido a heterogeneidade dos metadados criados. O formato FITS é utilizado para manipular, armazenar e transmitir imagens científicas. Tal formato é muito utilizado na Astronomia. Esta dissertação apresenta uma arquitetura de grade dados para imagens FITS e a especificação de um padrão de metadados para gerenciamento desse tipo de imagens, estendido para o contexto das grades, como forma de promover a interoperabilidade, facilitando o acesso e a recuperação dessas imagens.

O surgimento de volumes de dados na ordem de petabytes cria a necessidade de desenvolver-se novas soluções que viabilizem o tratamento dos dados através do uso de sistemas de computação intensiva, como o MapReduce. O MapReduce é um framework de programação que apresenta duas funções: uma de mapeamento, chamada Map, e outra de redução, chamada Reduce, aplicadas a uma determinada entrada de dados. Este modelo de programação é utilizado geralmente em grandes clusters e suas tarefas Map ou Reduce são normalmente independentes entre si. O programador é abstraído do processo de paralelização como divisão e distribuição de dados, tolerância a falhas, persistência de dados e distribuição de tarefas. A motivação deste trabalho é aplicar o modelo de computação intensiva do MapReduce com grande volume de dados para uso em ambientes desktop grid. O objetivo então é investigar os algoritmos do MapReduce para adequar a computação intensiva aos ambientes heterogêneos. O trabalho endereça o problema da heterogeneidade de recursos, não tratando neste momento a volatilidade das máquinas. Devido às deficiências encontradas no MapReduce em ambientes heterogêneos foi proposto o MR-A++, que é um MapReduce com algoritmos adequados ao ambiente heterogêneo. O modelo do MR-A++ cria uma tarefa de medição para coletar informações, antes de ocorrer a distribuição dos dados. Assim, as informações serão utilizadas para gerenciar o sistema. Para avaliar os algoritmos alterados foi empregada a Análise 2k Fatorial e foram executadas simulações com o simulador MRSG. O simulador MRSG foi construído para o estudo de ambientes (homogêneos e heterogêneos) em larga escala com uso do MapReduce. O pequeno atraso introduzido na fase de setup da computação é compensado com a adequação do ambiente heterogêneo à capacidade computacional das máquinas, com ganhos de redução de tempo de execução dos jobs superiores a 70 % em alguns casos. / The emergence of data volumes in the order of petabytes creates the need to develop new solutions that make possible the processing of data through the use of intensive computing systems, as MapReduce. MapReduce is a programming framework that has two functions: one called Map, mapping, and another reducing called Reduce, applied to a particular data entry. This programming model is used primarily in large clusters and their tasks are normally independent. The programmer is abstracted from the parallelization process such as division and data distribution, fault tolerance, data persistence and distribution of tasks. The motivation of this work is to apply the intensive computation model of MapReduce with large volume of data in desktop grid environments. The goal then is to investigate the intensive computing in heterogeneous environments with use MapReduce model. First the problem of resource heterogeneity is solved, not treating the moment of the volatility. Due to deficiencies of the MapReduce model in heterogeneous environments it was proposed the MR-A++; a MapReduce with algorithms adequated to heterogeneous environments. The MR-A++ model creates a training task to gather information prior to the distribution of data. Therefore the information will be used to manager the system. To evaluate the algorithms change it was employed a 2k Factorial analysis and simulations with the simulant MRSG built for the study of environments (homogeneous and heterogeneous) large-scale use of MapReduce. The small delay introduced in phase of setup of computing compensates with the adequacy of heterogeneous environment to computational capacity of the machines, with gains in the run-time reduction of jobs exceeding 70% in some cases.