O surgimento de volumes de dados na ordem de petabytes cria a necessidade de desenvolver-se novas soluções que viabilizem o tratamento dos dados através do uso de sistemas de computação intensiva, como o MapReduce. O MapReduce é um framework de programação que apresenta duas funções: uma de mapeamento, chamada Map, e outra de redução, chamada Reduce, aplicadas a uma determinada entrada de dados. Este modelo de programação é utilizado geralmente em grandes clusters e suas tarefas Map ou Reduce são normalmente independentes entre si. O programador é abstraído do processo de paralelização como divisão e distribuição de dados, tolerância a falhas, persistência de dados e distribuição de tarefas. A motivação deste trabalho é aplicar o modelo de computação intensiva do MapReduce com grande volume de dados para uso em ambientes desktop grid. O objetivo então é investigar os algoritmos do MapReduce para adequar a computação intensiva aos ambientes heterogêneos. O trabalho endereça o problema da heterogeneidade de recursos, não tratando neste momento a volatilidade das máquinas. Devido às deficiências encontradas no MapReduce em ambientes heterogêneos foi proposto o MR-A++, que é um MapReduce com algoritmos adequados ao ambiente heterogêneo. O modelo do MR-A++ cria uma tarefa de medição para coletar informações, antes de ocorrer a distribuição dos dados. Assim, as informações serão utilizadas para gerenciar o sistema. Para avaliar os algoritmos alterados foi empregada a Análise 2k Fatorial e foram executadas simulações com o simulador MRSG. O simulador MRSG foi construído para o estudo de ambientes (homogêneos e heterogêneos) em larga escala com uso do MapReduce. O pequeno atraso introduzido na fase de setup da computação é compensado com a adequação do ambiente heterogêneo à capacidade computacional das máquinas, com ganhos de redução de tempo de execução dos jobs superiores a 70 % em alguns casos. / The emergence of data volumes in the order of petabytes creates the need to develop new solutions that make possible the processing of data through the use of intensive computing systems, as MapReduce. MapReduce is a programming framework that has two functions: one called Map, mapping, and another reducing called Reduce, applied to a particular data entry. This programming model is used primarily in large clusters and their tasks are normally independent. The programmer is abstracted from the parallelization process such as division and data distribution, fault tolerance, data persistence and distribution of tasks. The motivation of this work is to apply the intensive computation model of MapReduce with large volume of data in desktop grid environments. The goal then is to investigate the intensive computing in heterogeneous environments with use MapReduce model. First the problem of resource heterogeneity is solved, not treating the moment of the volatility. Due to deficiencies of the MapReduce model in heterogeneous environments it was proposed the MR-A++; a MapReduce with algorithms adequated to heterogeneous environments. The MR-A++ model creates a training task to gather information prior to the distribution of data. Therefore the information will be used to manager the system. To evaluate the algorithms change it was employed a 2k Factorial analysis and simulations with the simulant MRSG built for the study of environments (homogeneous and heterogeneous) large-scale use of MapReduce. The small delay introduced in phase of setup of computing compensates with the adequacy of heterogeneous environment to computational capacity of the machines, with gains in the run-time reduction of jobs exceeding 70% in some cases.

Esta Tesis está enfocada hacia el diseño y evaluación de arquitecturas para ofrecer servicios de Video-bajo-Demanda a gran escala (LVoD). Después de un análisis exhaustivo de las alternativas existentes en la literatura (servidores-independientes, un nivel servidores-proxy, entre otras) y sus características, se proponen dos arquitecturas LVoD distribuidas basadas en la utilización de componentes sencillos y de bajo coste (servidores-proxy y redes locales) denominadas arquitecturas Proxy-Tree y Double P-Tree. Si bien ambas arquitecturas cumplen con los principales requisitos exigidos a las arquitecturas LvoD (alta capacidad de servicio, escalabilidad, balanceo de la carga, tolerancia a fallos y compartición eficiente de recursos), la arquitectura Double P-Tree logra incrementar la conectividad de la topología mediante la interconexión algunas redes locales de un mismo nivel, lo cual permite reducir la distancia media de servicio, además de aumentar la tolerancia a fallos y la eficiencia de las políticas de compartición de recursos.Con el objetivo de incrementar el número de usuarios soportados por el sistema utilizando los mismos recursos, se han propuesto una serie de políticas orientadas a mejorar la distancia media de servicio (políticas de gestión del almacenamiento y los contenidos multimedia) y el desbalanceo del tráfico (políticas estáticas y dinámicas de balanceo del tráfico) en las redes de las arquitecturas LVoD distribuidas.Las arquitecturas propuestas han demostrado ser una alternativa viable para las instalaciones LVoD. En concreto, la arquitectura Double P-Tree permite aumentar la capacidad de servicio del sistema en más de un 200% respecto a la arquitectura de un nivel de servidores-proxy y en un 46% respecto a la arquitectura de servidores independientes. / This Tesis is oriented to design and evaluate architectures to provide Large-scale Video-on-Demand (LVoD) services. After an exhaustive analysis of different existing alternatives in the literature (independent-servers, one level proxies, etc) and their characteristics, we propose two LVoD architectures based on the utilization of simple and low-cost components (proxies and local networks) called Proxy-Tree and Double P-Tree.Although both architectures accomplish LVoD systems main requirements (high service capacity, scalability, load balancing, fault tolerance and efficient resource sharing), the Double P-Tree architecture increases the topology connectivity by interconnecting several local networks (brothers nets) of the same level, what allows to reduce the mean service distance, increasing fault-tolerance and resource sharing efficiency.With the goal of improving the number of users supported by the system using the same resources, we have proposed a set of policies oriented to improve the mean service distance (storage management and videos mapping policies) and network-traffic balancing (static and dynamic policies) in LVoD distributed architectures.Proposed architectures have demonstrated to be a viable alternative for LVoD systems. The Double P-Tree using multicasting and similar resources clearly outperforms classical DVoD architectures, namely, Independent servers (by 46%) and one-level proxies (by 200%).

No description available.

Alta disponibilidade é uma das propriedades mais desejáveis em sistemas computacionais, principalmente em aplicações comerciais que, tipicamente, envolvem acesso a banco de dados e usam transações. Essas aplicações compreendem sistemas bancários e de comércio eletrônico, onde a indisponibilidade de um serviço pode representar substanciais perdas financeiras. Alta disponibilidade pode ser alcançada através de replicação. Se uma das réplicas não está operacional, outra possibilita que determinado serviço seja oferecido. No entanto, réplicas requerem protocolos que assegurem consistência de estado. Comunicação de grupo é uma abstração que tem sido aplicada com eficiência a sistemas distribuídos para implementar protocolos de replicação. Sua aplicação a sistemas práticos com transações e com banco de dados não é comum. Tipicamente, sistemas transacionais usam soluções ad hoc e sincronizam réplicas com protocolos centralizados, que são bloqueantes e, por isso, não asseguram alta disponibilidade. A tecnologia baseada em componentes Enterprise JavaBeans (EJB) é um exemplo de sistema prático que integra distribuição, transações e bancos de dados. Em uma aplicação EJB, o desenvolvedor codifica o serviço funcional que é dependente da aplicação, e os serviços não–funcionais são inseridos automaticamente. A especificação EJB descreve serviços não–funcionais de segurança, de transações e de persistência para bancos de dados, mas não descreve serviços que garantam alta disponibilidade. Neste trabalho, alta disponibilidade é oferecida como uma nova propriedade através da adição de serviços não–funcionais na tecnologia EJB usando abstrações de comunicação de grupo. Os serviços para alta disponibilidade são oferecidos através da arquitetura HA (highly-available architecture) que possui múltiplas camadas. Esses serviços incluem replicação, chaveamento de servidor, gerenciamento de membros do grupo e detecção de membros falhos do grupo. A arquitetura HA baseia-se nos serviços já descritos pela especificação EJB e preserva os serviços EJB existentes. O protocolo de replicação corresponde a uma subcamada, invisível para o usuário final. O serviço EJB é executado por membros em um grupo de réplicas, permitindo a existência de múltiplos bancos de dados idênticos. Conflitos de acesso aos múltiplos bancos de dados são tratados estabelecendo–se uma ordem total para aplicação das atualizações das transações. Esse grupo é modelado como um único componente e gerenciado por um sistema de comunicação de grupo. A combinação de conceitos de bancos de dados com comunicação de grupo demonstra uma interessante solução para aplicações com requisitos de alta disponibilidade, como as aplicações EJB. Os serviços adicionais da arquitetura HA foram implementados em protótipo. A validação através de um protótipo possibilita que experimentos sejam realizados dentro de um ambiente controlado, usando diferentes cargas de trabalho sintéticas. O protótipo combina dois sistemas de código aberto. Essa característica permitiu acesso à implementação e não somente à interface dos componentes dos sistemas em questão. Um dos sistemas implementa a especificação EJB e outro implementa o sistema de comunicação de grupos. Os resultados dos testes realizados com o protótipo mostraram a eficiência da solução proposta. A degradação de desempenho pelo uso de réplicas e da comunicação de grupo é mantida em valores adequados.

Devido a sua baixa latência de banda, os clusters equipados com o adaptador SCI são uma alternativa para sistemas de tempo real distribuídos. Esse trabalho apresenta o projeto e implementação de uma plataforma de comunicação de tempo real sobre clusters SCI. O hardware padrão do SCI não se mostra adequado para a transmissão de tráfego de tempo real devido ao problema da contenção de acesso ao meio que causa inversão de prioridade. Por isso uma disciplina de acesso ao meio é implementada como parte da plataforma. Através da arquitetura implementada é possível o estabelecimento de canais de comunicação com garantia de banda. Assim, aplicações multimídias, por exemplo, podem trocar com taxa constante de conunicação. Cada mensagem é enviada somente uma vez. Assim, mensagens som a semântica de eventos podem ser enviadas. Além disso, a ordem e o tamanho das mensagens são garantidos. Além do tráfego com largura de banda garantida, a plataforma possibilita a troca de pacotes IP entre diferentes máquinas do cluster. Esses pacotes são inseridos no campo de dados dos pacotes próprios da plataforma e após são enviados através do uso de pacotes IP. Além disso, essa funcionalidade da plataforma permite também a execução de bibliotecas de comunicação baseadas em TCP/IP como o MPI sobre o cluster SCI. A plataforma de comunicação é implementada como modulos do sistema operacional Linux com a execução de tempo real RTAI. A valiação da plataforma mostrou que mesmo em cenários com muita comunicação entre todos os nodos correndo, a largura de banda reservada para cada canal foi mantida.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-graduação em Engenharia de Automação e Sistemas, Florianópolis, 2010 / Made available in DSpace on 2012-10-25T07:14:14Z (GMT). No. of bitstreams: 1 278164.pdf: 1317908 bytes, checksum: d670d306681d43ec71c6cd61ff35983f (MD5) / Esta dissertação descreve uma extensão ao Serviço de Consenso proposto por Guerraoui e Schiper. O objetivo é prover uma forma padronizada para implementar protocolos de acordo tolerantes a faltas bizantinas usando um serviço tolerante a faltas de intrusão construídos sobre tecnologias de virtualização. Para isto, implementamos um Serviço Genérico de Consenso (SGC). SGC separa as especificidades de diferentes problemas de acordo do consenso de uma forma clara, utilizando uma interação cliente-servidor, permitindo total independência entre protocolos de consenso utilizados e especializações específicas ao problema. Será mostrado o funcionamento do SGC, suas propriedades e como utilizá-lo para para resolver alguns problemas de acordo.

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-graduação em Engenharia Elétrica / Made available in DSpace on 2012-10-23T21:22:26Z (GMT). No. of bitstreams: 1 252246.pdf: 1232707 bytes, checksum: fc444f67489ad12b2dbb5ad8e8cf777c (MD5) / Este trabalho trata do problema de previsão de perda de deadline em sistemas distribuídos de tempo real. O contexto do trabalho refere-se aos sistemas com restrições temporais não críticas. O objetivo é fornecer mecanismos de previsão de perda de deadline para melhorar o desempenho desses sistemas. São propostos diferentes mecanismos para sistemas construídos a partir de threads distribuídas. Para tanto, define-se um modelo de tarefas e uma arquitetura de sistema. O modelo de tarefas é constituído de tarefas locais periódicas com deadlines críticos e tarefas distribuídas aperiódicas com deadlines firmes. A arquitetura de sistema, presente em cada nodo, é composta por uma tarefa interceptadora e uma tarefa servidora, além de tarefas periódicas locais. A seguir, os mecanismos de previsão de perda de deadlines propostos são descritos. O mecanismo baseado em Milestones utiliza restrições temporais da thread distribuída para definir um tempo de resposta estimado (um milestone). O mecanismo de previsão baseado na folga restante (FR) considera as execuções condicionais da thread distribuída para fins de previsão. O mecanismo Aperiodic Server Queue Length (ASQ) utiliza informações a respeito da carga computacional do sistema, além de informações a respeito da thread distribuída. Os mecanismos propostos foram avaliados através de simulações, considerando diferentes contextos de execução. Os resultados mostram que os mecanismos FR e ASQ geram melhores previsões que o mecanismo baseado em Milestones. De uma maneira geral, os mecanismos de previsão fornecem uma estratégia adequada para melhorar o comportamento do sistema, porque permitem a antecipação de decisões acerca das medidas necessárias para aumentar seu desempenho.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-graduação em Engenharia e Gestão do Conhecimento / Made available in DSpace on 2012-10-24T00:29:24Z (GMT). No. of bitstreams: 1 251018.pdf: 1177775 bytes, checksum: 112801a531c52754ec42b2a52918577d (MD5) / Desde o surgimento da Telemedicina na década de 60, ela vem sendo sugerida e aplicada como uma forma de prover acesso a saúde das pessoas, que estão isoladas dos grandes centros médicos. A sua disseminação e popularização trouxe alguns desafios no que tange à disponibilidade e escalabilidade dos sistemas que as suportam e, conseqüentemente, do conhecimento embutido em seus bancos de dados. Desta forma, este trabalho se propõe a realizar um estudo de estratégias de sistemas distribuídos aplicadas aos sistemas de telemedicina. Foram desenvolvidos três estudos, baseados em cenários de aplicação. São eles: agregados computacionais, bancos de dados distribuídos e sistemas de arquivos distribuídos. No primeiro cenário proposto, foi realizado um estudo para o provimento de alta disponibilidade e alto desempenho, usando agregados computacionais, para o sistema de telemedicina do Laboratório de Telemedicina da Universidade Federal de Santa Catarina. Neste cenário foram avaliados e comparados o sistema atual versus o sistema utilizando agregados computacionais. No segundo cenário foi avaliado o uso de replicação de dados assíncrona entre bancos de dados distribuídos, no sentido de integrar o conhecimento embutido nos bancos de dados médicos. Por fim, no terceiro e último cenário, foi avaliado o uso de sistemas de arquivos distribuídos como dispositivo de armazenamento de imagens médicas, no sentido de promover altos níveis de escalabilidade e desempenho para as informações.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação / Made available in DSpace on 2012-10-24T02:55:47Z (GMT). No. of bitstreams: 1 250556.pdf: 2598282 bytes, checksum: d81d0812122590acfcb56384d46f4d69 (MD5) / Nas redes de dados das operadoras de telefonia celular é fundamental que o protocolo utilizado na comunicação entre terminais seja confiável e seguro e que possa prover o máximo de garantias a integridade dos dados. Os protocolos usualmente utilizados na comunidade científica fazem parte da pilha TCP/IP. O protocolo UDP não acrescenta confiabilidade à rede e apenas implementa a multiplexação. Por outro lado, o protocolo TCP tem a vantagem de ser um protocolo confiável possuindo conexões ponto-a-ponto. Na rede de telefonia celular, considera-se nas maioria das vezes o protocolo TCP e deseja-se que as vantagens de UDP existam no TCP. Desta forma, nessa dissertação optou-se pelo estudo dos protocolos SCTP e XTP por possuírem tais características em comum e acrescentar alguns diferenciais. Entre os recursos que mais de destacam no SCTP estão a transmissão de mensagens indivisíveis, múltiplos fluxos de mensagens por conexão, variação da confiabilidade das mensagens, entre outras. Por outro lado o XTP tem como características trabalhar em aplicações de alto desempenho, e por possuir similaridades com o TCP. A proposta deste trabalho de pesquisa é de prover um estudo empírico utilizando-se dos protocolos TCP, SCTP e XTP. O estudo caracteriza-se por considerar os recursos do SCTP e XTP, a fim de demonstrar em uma rede real interna de uma operadora de telefonia móvel o diferencial dos mesmos suportando protocolos de aplicação e simulando diversas condições de rede.

A recuperação por retorno baseada em checkpointing é largamente usada como técnica de tolerância a falhas. O modelo complexo de sistemas distribuídos tem motivado o desenvolvimento de diversos algoritmos na tentativa de encontrar soluções mais simples e eficientes. Os processos que formam o sistema distribuído podem coordenar suas operações para garantir que o conjunto de checkpoints locais componha um estado global consistente (linha de recuperação). A partir desse estado, no caso de ocorrência de falhas, o sistema pode ser recuperado e a computação retomada a partir de um momento anterior ao da manifestação da falha, evitando o retrocesso para o estado inicial da computação e prevenindo a ocorrência de prejuízos com a perda de todo processamento até então realizado. No Grupo de Tolerância a Falhas da UFRGS foi proposto recentemente um algoritmo que é voltado para aplicações que executam em sistemas distribuídos assíncronos que se comunicam exclusivamente pela troca de mensagens. Ele opera com salvamento coordenado de checkpoints (não bloqueando as aplicações) e prevê o tratamento de mensagens órfãs e perdidas. Os mecanismos do algoritmo sugerem que nenhuma alteração deveria ser realizada no código das aplicações, criando a possibilidade de implementação transparente sob o ponto de vista dos usuários e dos programadores das aplicações. Como o algoritmo não requer o bloqueio das aplicações, a sobrecarga imposta pelos mecanismos à execução livre de falhas é pequena. Além disso, o processo de recuperação tende a ser efetuado rapidamente, uma vez que é garantida a existência de uma linha de recuperação consistente, facilmente identificada Este trabalho apresenta as decisões de projeto, a implementação, os resultados e a avaliação de desempenho desse algoritmo. A avaliação das alternativas de implementação resultou na decisão de uma implementação então realizada diretamente sobre o sistema operacional Linux, sem recorrer a protocolos auxiliares para garantir a execução dos serviços e sem a necessidade de adaptações no código das aplicações nem no código do sistema operacional. Adicionalmente, os resultados comprovaram a expectativa inicial de que o algoritmo causaria pouca sobrecarga no sistema (menos de 2%), embora ele ainda apresente alta dependência do tamanho dos checkpoints salvos.