Este trabalho descreve uma implementação de um modelo de escalonamento para a linguagem de programação DPC++. Esta linguagem, desenvolvida no Instituto de Informática da UFRGS, possibilita que uma aplicação orientada a objetos seja distribuída entre vários processadores através de objetos distribuídos. Muito mais que uma simples biblioteca de comunicação, o DPC ++ torna a troca de mensagens totalmente transparente aos objetos. A integração do DPC++ com o DECK, também em desenvolvimento, trará grandes inovações ao DPC++, principalmente pelo uso de theads. O escalonador proposto para este modelo utiliza estes recursos para implantar os chamados processos espiões, que monitoram a carga de uma máquina, enviando seus resultados ao escalonador. O escalonador implementado possui, desta forma, dois módulos: objetos espiões implementados como um serviço do DECK e o escalonador propriamente dito, incluído no objeto Diretório, parte integrante do DPC++.

O uso da recuperação de processos para obter sistemas computacionais tolerantes a falhas não é um assunto novo. Entretanto, a discussão de algoritmos para a recuperação em sistemas distribuídos, notadamente aqueles que se enquadram na categoria assíncrona, ainda encontra pontos em aberto. Este é o contexto do presente trabalho. Este trabalho apresenta um novo algoritmo de recuperação por retorno, em sistemas distribuídos. O algoritmo proposto é do tipo coordenado, e seus mecanismos componentes determinam que seja classificado como um algoritmo baseado em índices (index-based coordinated). Desta forma, a tolerância a falhas é obtida através do estabelecimento de linhas de recuperação, o que possibilita um retorno consideravelmente rápido, em caso de falha. Seu desenvolvimento foi feito com o objetivo de minimizar o impacto ao desempenho do sistema, tanto quando este estiver operando livre de falhas como quando ocorrerem as falhas. Além disso, os mecanismos componentes do algoritmo foram escolhidos visando facilitar a futura tarefa de implementação. A satisfação dos objetivos decorre principalmente de uma importante característica assegurada pelos mecanismos propostos no algoritmo: o não bloqueio da aplicação, enquanto é estabelecida uma nova linha de recuperação. Esta característica, associada ao rápido retorno, oferece uma solução promissora, em termos de eficiência, para a recuperação, um vez que o impacto no desempenho tende a ser reduzido, quando o sistema encontra-se operando em ambas condições: livre de erros ou sob falha. Diferentemente da maioria dos algoritmos coordenados encontrados na literatura, o algoritmo proposto neste trabalho trata as mensagens perdidas. A partir da análise das características das aplicações, bem como dos canais de comunicação, quando estes interagem com o algoritmo de recuperação, concluiu-se que os procedimentos usados para recuperação de processos devem prever o tratamento desta categoria de mensagens. Assim, o algoritmo proposto foi incrementado com um mecanismo para tratamento das mensagens que têm o potencial de tornarem-se perdidas, em caso de retorno, ou seja, evita a existência de mensagens perdidas. Uma das decisões tomadas durante o desenvolvimento do algoritmo foi a de permitir um processamento não determinístico. Na realidade, esta escolha visou o aumento do espectro das falhas que poderiam ser tratadas pela recuperação. Tradicionalmente, a recuperação por retorno é empregada para tolerar falhas temporárias. Entretanto, a diversidade de ambiente, freqüente nos SDs, também pode ser usada para tolerar algumas falhas permanentes. Para verificar a correção do algoritmo, decidiu-se empregar um formalismo existente. Assim, a lógica temporal de Lamport (TLA) foi usada na especificação dos mecanismos do algoritmo bem como em sua demonstração de correção. O tratamento referente às mensagens perdidas, atrav´es do uso de mensagens de resposta, associado com o uso de uma lógica temporal, levou à necessidade de rever os critérios de consistência. Esta revisão gerou um conjunto de fórmulas de consistência ajustadas à existência de mensagens de diferentes classes: mensagens da aplicação e mensagens de resposta.

A crescente complexidade das aplicações, a contínua evolução tecnológica e o uso cada vez mais disseminado de redes de computadores têm impulsionado os estudos referentes ao desenvolvimento de sistemas distribuídos. Como estes sistemas não podem ser facilmente desenvolvidos com tecnologias de software tradicionais por causa dos limites destas em lidar com aspectos relacionados, por exemplo, à distribuição e interoperabilidade, a tecnologia baseada em agentes parece ser uma resposta promissora para facilitar o desenvolvimento desses sistemas, pois ela foi planejada para suportar estes aspectos, dentre outros. Portanto, é necessário também que a arquitetura dos ambientes de desenvolvimento de software (ADS) evolua para suportar novas metodologias de desenvolvimento que ofereçam o suporte necessário à construção de softwares complexos, podendo também estar integrada a outras tecnologias como a de agentes. Baseada nesse contexto, essa dissertação tem por objetivo apresentar a especificação de uma arquitetura de um ADS distribuído baseada em agentes (DiSEN – Distributed Software Engineering Environment). Esse ambiente deverá fornecer suporte ao desenvolvimento de software distribuído, podendo estar em locais geograficamente distintos e também os desenvolvedores envolvidos poderão estar trabalhando de forma cooperativa. Na arquitetura proposta podem ser identificadas as seguintes camadas: dinâmica, que será responsável pelo gerenciamento da (re)configuração do ambiente em tempo de execução; aplicação, que terá, entre os elementos constituintes, a MDSODI (Metodologia para Desenvolvimento de Software Distribuído), que leva em consideração algumas características identificadas em sistemas distribuídos, já nas fases iniciais do projeto e o repositório para armazenamento dos dados necessários ao ambiente; e, infra-estrutura, que proverá suporte às tarefas de nomeação, persistência e concorrência e incorporará o canal de comunicação. Para validar o ambiente será realizada uma simulação da comunicação que pode ser necessária entre as partes constituintes do DiSEN, por meio da elaboração de diagramas de use case e de seqüência, conforme a notação MDSODI. Assim, as principais contribuições desse trabalho são: (i) especificação da arquitetura de um ADS distribuído que poderá estar distribuído geograficamente; incorporará a MDSODI; proporcionará desenvolvimento distribuído; possuirá atividades executadas por agentes; (ii) os agentes identificados para o DiSEN deverão ser desenvolvidos obedecendo ao padrão FIPA (Foundation for Intelligent Physical Agents); (iii) a identificação de um elemento que irá oferecer apoio ao trabalho cooperativo, permitindo a integração de profissionais, agentes e artefatos.

Mecanismos de comunicação entre processos são fundamentais no desenvolvimento de sistemas distribuídos, já que constituem o único meio de compartilhar dados entre processos que não dispõem de memória comum. Um dos principais mecanismos de comunicação utilizados é a troca de mensagens entre os processos componentes do sistema. Existem muitas aplicações que são compostas por um conjunto de processos que cooperam para realizar uma determinada tarefa e que são mais facilmente construídas se o sistema operacional oferecer a possibilidade de se enviar uma mensagem a diversos destinos. Neste caso são necessários mecanismos que permitam a difusão confiável de uma mensagem para um grupo de processos em uma única operação. Tendo em vista esta necessidade, diversos protocolos têm sido apresentados na literatura para permitir a comunicação entre um grupo de processos com diferentes graus de complexidade e de desempenho. Este trabalho apresenta um ambiente para desenvolvimento e utilização de protocolos de comunicação em grupo, denominado FlexGroup. O ambiente divide os protocolos em suas características fundamentais, permitindo que estas características possam ser desenvolvidas separadamente como subprotocolos. Os subprotocolo são interligados através de uma interface comum e gerenciados pelo núcleo do ambiente. A comunicação entre as diversas máquinas da rede é gerenciada pelo FlexGroup, permitindo que o desenvolvedor de um novo subprotocolo possa somente se focar nas características específicas do seu protocolo. Esta modularidade permite, ainda, que apenas as partes de interesse de um novo protocolo precisem ser implementadas, além de também viabilizar a criação de um protocolo baseado nos já existentes no ambiente. Além disso, o ambiente permite que as aplicações de comunicação em grupo possam definir, através de uma biblioteca, o conjunto de subprotocolos que desejam utilizar, em tempo de execução, sem necessidade de conhecer a implementação interna dos subprotocolos.. Da mesma forma, alguém que se proponha a realizar comparações com os protocolos existentes, pode utilizar os diversos subprotocolos e as aplicações existentes, bastando alterar os protocolos utilizados em tempo de execução e avaliando somente as características que deseje analisar.

Uma aplicação distribuída freqüentemente tem que ser especificada e implementada para executar sobre uma rede de longa distância (wide-área network-WAN), tipicamente a Internet. Neste ambiente, tais aplicações são sujeitas a defeitos do tipo colapso(falha geral num dado nó), teporização (flutuações na latência de comunicação) e omissão (perdas de mensagens). Para evitar que este defeitos gerem comseqüências indesejáveis e irreparáveis na aplicação, explora-se técnicas para tolerá-los. A abstração de detectores de defeitos não confiáveis auxilia a especificação e trato de algoritmos distribuídos utilizados em sistemas tolerantes a falhas, pois permite uma modelagem baseada na noção de estado (suspeito ou não suspeito) dos componentes (objetos, processo ou processadores) da aplicação. Para garantir terminação, os algoritmos de detecção de defeitos costumam utilizar a noção de limites de tempo de espera (timeout). Adicionalmente, para minimizar seu erro (falasas suspeitas) e não comprometer seu desempenho (tempo para detecção de um defeito), alguns detectores de defeitos ajustam dinamicamente o timeout com base em previsões do atraso de comunicação. Esta tese explora o ajuste dinâmico do timeout realizado de acordo com métodos de previsão baseados na teoria de séries temporais. Tais métodos supõem uma amostragem periódica e fornececm estimativas relativamente confiáveis do comportamento futuro da variável aleatória. Neste trabalho é especificado uma interface para transformar uma amostragem aperiódica do atraso de ida e volta de uma mensagem (rtt) numa amostragem periódica, é analisado comportamento de séries reais do rtt e a precisão dee sete preditores distintos (três baseados em séries temporais e quatrro não), e é avaliado a influência destes preditores na qualidade de serviço de um detector de defeitos do estilopull. Uma arquitetura orientada a objetos que possibilita a escolha/troca de algoritmos de previsão e de margem de segurança é também proposta. Como resultado, esta tese mostra: (i) que embora a amostragem do rtt seja aperiódica, pode-se modelá-la como sendo uma série temporal (uma amostragem periódica) aplciando uma interface de transformação; (ii) que a série temporal rtt é não estacionária na maioria dos casos de teste, contradizendo a maioria das hipóteses comumente consideradas em detectores de defeitos; (iii) que dentre sete modelos de predição, o modelo ARIMA (autoregressive integrated moving-average model) é o que oferece a melhor precisão na predição de atrasos de comunicação, em termos do erro quadrático médio: (iv) que o impacto de preditores baseados em séries temporais na qualidade de serviço do detector de defeitos não significativo em relação a modelos bem mais simples, mas varia dependendo da margem de segurança adotada; e (v) que um serviço de detecção de defeitos pode possibilitar a fácil escolha de algoritmos de previsão e de margens de segurança, pois o preditor pode ser modelado como sendo um módulo dissociado do detector.

Submitted by Diogo Barreiros (diogo.barreiros@ufba.br) on 2017-02-09T18:58:07Z No. of bitstreams: 1 dissertacao_reconfiguracao_com_seg.pdf: 1376143 bytes, checksum: 3ee6bade31c4ac64861d412960df6f9a (MD5) / Approved for entry into archive by Vanessa Reis (vanessa.jamile@ufba.br) on 2017-02-10T11:38:30Z (GMT) No. of bitstreams: 1 dissertacao_reconfiguracao_com_seg.pdf: 1376143 bytes, checksum: 3ee6bade31c4ac64861d412960df6f9a (MD5) / Made available in DSpace on 2017-02-10T11:38:30Z (GMT). No. of bitstreams: 1 dissertacao_reconfiguracao_com_seg.pdf: 1376143 bytes, checksum: 3ee6bade31c4ac64861d412960df6f9a (MD5) / Sistemas modernos de controle e supervisão são caracterizados pela utilização de componentes de prateleira (Commercial off-the-shelf - COTS), como componentes de rede, sistemas operacionais e middlewares, visando à otimização de custos e reutilização. Um dos aspectos cruciais em tais sistemas é sua capacidade de se adaptar a mudanças no ambiente computacional ou novos requisitos da aplicação. A plataforma ARCOS - Architecture for Control and Supervision, baseada em componentes de tempo-real, foi desenvolvida no Laboratório de Sistemas Distribuídos (LaSiD), no âmbito do Programa de Pós-Graduaçào em Mecatrônica da Universidade Federal da Bahia, para atender a essas novas demandas de sistemas industriais de controle e supervisão. Nesse trabalho, é apresentado o serviço de reconfiguração dinâmica desenvolvido para sistemas baseados em componentes, que permite modificar a composição de uma aplicação em tempo de execução, procurando minimizar o impacto em partes do sistema não envolvidas na reconfiguração em questão. É descrita a utilização desse serviço na reconfiguração de duas variações de uma aplicação de controle baseada em componentes: uma delas desenvolvida sem o emprego do ARCOS e uma outra em que esse framework é empregado. Adicionalmente, são apresentados experimentos realizados com o objetivo de avaliar o impacto da reconfiguração nas aplicações alvo.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2209 / Made available in DSpace on 2012-10-24T08:01:45Z (GMT). No. of bitstreams: 1 266792.pdf: 1779206 bytes, checksum: c49e79678be6b9df60bd4f393d66a7a0 (MD5) / O que? O tratamento, a eficiência, a comunicação e a distribuição dos processos em ambientes de computação de alto desempenho sempre foi objeto de estudo no intuito de alcançar sempre um maior desempenho. Neste sentido, com o avanço das tecnologias de processamento temos também o incremento no poder computacional dos agregados para nos auxiliar e com poder de processamento cada vez maior. Os processadores multicores, nodos multiprocessados e multicores e nodos multiprocessados estão em crescimento há algum tempo e diversos sistemas de mensuração de desempenho dos processadores foram desenvolvidos entre ele o NAS Parallel Benchmark.. Como? O desempenho dos computadores de alto desempenho é testado por benchmarks baseados na sua alta performance propriamente dita e no fluxo de trabalho, mais focado obviamente as áreas relacionadas diretamente a ciência, e em organizações de cunho público e privado. Exemplos de áreas de aplicações envolvendo grandes volumes de dados em domínios de conhecimento complexos incluem sensoriamento remoto, geoprocessamento, previsões climáticas, exploração planetária, visão computacional, área de prototipagem e robótica. Informações redundantes ou procedimentos triviais de análise podem demandar recursos computacionais muito acima das capacidades atualmente existentes. Por quê? Desse modo, técnicas de distribuição, eficiência na passagem de mensagens e intercomunicação de processos devem ser utilizadas para permitir que grandes volumes de dados sejam processados, analisados, disponibilizados e visualizados, muitas vezes em tempo real. Baseados em experimentos e com o auxílio do NAS Parallel Benchmark juntamente com a biblioteca MPI, avaliaremos o impactos das características descritas anteriormente em ambientes de alto desempenho que utilizam nodos multicores, nodos multiprocessados e nodos multiprocessados e multicores. Nosso trabalho descreverá as principais técnicas utilizadas para a distribuição de processos, eficiência na passagem de mensagens e a intercomunicação entre os nodos e uma nova abordagem sobre o assunto será utilizada para demonstrar a eficácia dos métodos.

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-graduação em Engenharia Elétrica / Made available in DSpace on 2012-10-24T10:33:25Z (GMT). No. of bitstreams: 1 263781.pdf: 4695574 bytes, checksum: e49d16566351522be4a3fadb76045991 (MD5) / O escalonamento em grades envolve um grande número de tarefas. Estas incluem a busca de recursos em uma coleção de sistemas computacionais heterogêneos geograficamente distribuídos e a tomada de decisão de quais destes recursos usar. Apesar dos esforços dos escalonadores de grades atuais, estes possuem alguma dificuldade de garantir um bom escalonamento devido a natureza dinâmica da grade, isto é, a disponibilidade e a capacidade dos recursos da grade mudam dinamicamente. As informações sobre os recursos usadas pelos escalonadores são providas por um serviço de informação. Porém, o uso destas informações podem levar a escalonamentos que não são muito próprios devido a desatualização das mesmas. A principal contribuição desta tese é a proposta de uma nova infra-estrutura de escalonamento para grades computacionais, denominada GRIDTS. Nesta infra-estrutura os recursos é que são os responsáveis pela seleção das tarefas a serem executadas. Esta seleção é feita de acordo com as capacidades momentâneas do recurso. Lembrando que no escalonamento tradicional a busca é feita pelos escalonadores, os quais procuram recursos apropriados para as tarefas disponíveis, a abordagem proposta elimina a necessidade de um serviço de informação. Os recursos conhecem suas situações instantâneas permitindo a obtenção de bons escalonamentos. Portanto, a nossa proposta evita escalonamentos baseados em informações não precisas. A definição da infra-estrutura proposta está fortemente baseada na coordenação por espaço de tuplas. A infra-estrutura proposta também provê um escalonamento tolerante a faltas através da combinação de um conjunto de técnicas de tolerância a faltas. O GRIDTS é avaliado através de provas de correção, assim como por simulações. Os resultados obtidos demonstram que o GRIDTS é uma solução viável e que consegue atingir seus objetivos de modo eficiente, lidando com faltas sem afetar significativamente o escalonamento.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2013. / Made available in DSpace on 2014-08-06T17:31:50Z (GMT). No. of bitstreams: 1 324075.pdf: 3522909 bytes, checksum: fe21f0166c9e3f4e8335b1b55b686f69 (MD5) Previous issue date: 2013 / A grade computacional é muito utilizada quando se deseja alto desempenho para resolução de problemas que requerem alto poder de processamento. As grades oportunistas, um tipo de grade computacional, possuem o diferencial de utilizar recursos computacionais ociosos de máquinas pessoais para a resolução destes problemas, o que torna esse ambiente mais barato e, consequentemente, mais interessante, principalmente para a comunidade acadêmica. No entanto, nos ambientes oportunistas a disputa por recursos torna-se maior devido à instabilidade e constante uso de seus recursos. Problemas como o excesso de solicitações de alocação de recursos em um mesmo período podem ser recorrentes, o que pode tanto prejudicar o desempenho do sistema quanto tornar o processo de solicitação de recursos trabalhoso para o usuário, uma vez que este terá que repetir o processo até que haja recursos disponíveis para a sua execução. Uma maneira eficiente de resolver tal problema é com a utilização da reserva antecipada de recursos. Este mecanismo permite que o usuário selecione um conjunto de recursos para que sejam utilizados em um período no futuro, considerando oportunisticamente os recursos disponíveis. Diante disso, esta dissertação propôs a utilização do mecanismo de reserva antecipada em um ambiente de grade oportunista. O objetivo foi melhorar a vazão do uso de recursos oportunistas, de modo a oferecer a possibilidade de alocação dos recursos durante um longo período de tempo, e não apenas no momento da solicitação. Estudos de caso foram realizados para ilustrar o comportamento de um ambiente oportunista com a abordagem proposta, bem como para comparar os ambientes que utilizam e não utilizam reserva antecipada. Os resultados mostraram a eficiência e validade da utilização de tal abordagem em um ambiente distribuído.<br> / Abstract : Grid computing is widely used when high performance is desired to resolve problems that require high processing power. Opportunistic grids, a type of grid computing system, have the differential to use idle computing resources of personal machines to solving these problems, making the solution cheaper and consequently more interesting, specially for the academic community. However, opportunistic environments have more competition for resources due to instability and constant use of their resources. Problems such as excessive requests of resources allocation can be recurrent and can both degrade the performance of the system and make the process of resource requests harder to user, once the user will have to repeat this process until there are available resources to the execution. An efficient way to solve this problem is through the use of advanced reservation of resources. This mechanism allows user to select a set of resources to be used in the future opportunistically considering available resources. Therefore, this dissertation proposed the use of the advanced reservation mechanism in an opportunistic grid environment. The goal was to improve the use flow of the opportunistic resources in order to offer the resources allocation possibility for a long period of time and not only at the time of request. Case studies were carried out to illustrate the behaviour of an opportunistic environment with the proposed approach, as well as to compare environments that use with others that do not use advanced reservation. The results show the efficiency and validity of the approach in a distributed environment.

O surgimento de volumes de dados na ordem de petabytes cria a necessidade de desenvolver-se novas soluções que viabilizem o tratamento dos dados através do uso de sistemas de computação intensiva, como o MapReduce. O MapReduce é um framework de programação que apresenta duas funções: uma de mapeamento, chamada Map, e outra de redução, chamada Reduce, aplicadas a uma determinada entrada de dados. Este modelo de programação é utilizado geralmente em grandes clusters e suas tarefas Map ou Reduce são normalmente independentes entre si. O programador é abstraído do processo de paralelização como divisão e distribuição de dados, tolerância a falhas, persistência de dados e distribuição de tarefas. A motivação deste trabalho é aplicar o modelo de computação intensiva do MapReduce com grande volume de dados para uso em ambientes desktop grid. O objetivo então é investigar os algoritmos do MapReduce para adequar a computação intensiva aos ambientes heterogêneos. O trabalho endereça o problema da heterogeneidade de recursos, não tratando neste momento a volatilidade das máquinas. Devido às deficiências encontradas no MapReduce em ambientes heterogêneos foi proposto o MR-A++, que é um MapReduce com algoritmos adequados ao ambiente heterogêneo. O modelo do MR-A++ cria uma tarefa de medição para coletar informações, antes de ocorrer a distribuição dos dados. Assim, as informações serão utilizadas para gerenciar o sistema. Para avaliar os algoritmos alterados foi empregada a Análise 2k Fatorial e foram executadas simulações com o simulador MRSG. O simulador MRSG foi construído para o estudo de ambientes (homogêneos e heterogêneos) em larga escala com uso do MapReduce. O pequeno atraso introduzido na fase de setup da computação é compensado com a adequação do ambiente heterogêneo à capacidade computacional das máquinas, com ganhos de redução de tempo de execução dos jobs superiores a 70 % em alguns casos. / The emergence of data volumes in the order of petabytes creates the need to develop new solutions that make possible the processing of data through the use of intensive computing systems, as MapReduce. MapReduce is a programming framework that has two functions: one called Map, mapping, and another reducing called Reduce, applied to a particular data entry. This programming model is used primarily in large clusters and their tasks are normally independent. The programmer is abstracted from the parallelization process such as division and data distribution, fault tolerance, data persistence and distribution of tasks. The motivation of this work is to apply the intensive computation model of MapReduce with large volume of data in desktop grid environments. The goal then is to investigate the intensive computing in heterogeneous environments with use MapReduce model. First the problem of resource heterogeneity is solved, not treating the moment of the volatility. Due to deficiencies of the MapReduce model in heterogeneous environments it was proposed the MR-A++; a MapReduce with algorithms adequated to heterogeneous environments. The MR-A++ model creates a training task to gather information prior to the distribution of data. Therefore the information will be used to manager the system. To evaluate the algorithms change it was employed a 2k Factorial analysis and simulations with the simulant MRSG built for the study of environments (homogeneous and heterogeneous) large-scale use of MapReduce. The small delay introduced in phase of setup of computing compensates with the adequacy of heterogeneous environment to computational capacity of the machines, with gains in the run-time reduction of jobs exceeding 70% in some cases.