O surgimento de volumes de dados na ordem de petabytes cria a necessidade de desenvolver-se novas soluções que viabilizem o tratamento dos dados através do uso de sistemas de computação intensiva, como o MapReduce. O MapReduce é um framework de programação que apresenta duas funções: uma de mapeamento, chamada Map, e outra de redução, chamada Reduce, aplicadas a uma determinada entrada de dados. Este modelo de programação é utilizado geralmente em grandes clusters e suas tarefas Map ou Reduce são normalmente independentes entre si. O programador é abstraído do processo de paralelização como divisão e distribuição de dados, tolerância a falhas, persistência de dados e distribuição de tarefas. A motivação deste trabalho é aplicar o modelo de computação intensiva do MapReduce com grande volume de dados para uso em ambientes desktop grid. O objetivo então é investigar os algoritmos do MapReduce para adequar a computação intensiva aos ambientes heterogêneos. O trabalho endereça o problema da heterogeneidade de recursos, não tratando neste momento a volatilidade das máquinas. Devido às deficiências encontradas no MapReduce em ambientes heterogêneos foi proposto o MR-A++, que é um MapReduce com algoritmos adequados ao ambiente heterogêneo. O modelo do MR-A++ cria uma tarefa de medição para coletar informações, antes de ocorrer a distribuição dos dados. Assim, as informações serão utilizadas para gerenciar o sistema. Para avaliar os algoritmos alterados foi empregada a Análise 2k Fatorial e foram executadas simulações com o simulador MRSG. O simulador MRSG foi construído para o estudo de ambientes (homogêneos e heterogêneos) em larga escala com uso do MapReduce. O pequeno atraso introduzido na fase de setup da computação é compensado com a adequação do ambiente heterogêneo à capacidade computacional das máquinas, com ganhos de redução de tempo de execução dos jobs superiores a 70 % em alguns casos. / The emergence of data volumes in the order of petabytes creates the need to develop new solutions that make possible the processing of data through the use of intensive computing systems, as MapReduce. MapReduce is a programming framework that has two functions: one called Map, mapping, and another reducing called Reduce, applied to a particular data entry. This programming model is used primarily in large clusters and their tasks are normally independent. The programmer is abstracted from the parallelization process such as division and data distribution, fault tolerance, data persistence and distribution of tasks. The motivation of this work is to apply the intensive computation model of MapReduce with large volume of data in desktop grid environments. The goal then is to investigate the intensive computing in heterogeneous environments with use MapReduce model. First the problem of resource heterogeneity is solved, not treating the moment of the volatility. Due to deficiencies of the MapReduce model in heterogeneous environments it was proposed the MR-A++; a MapReduce with algorithms adequated to heterogeneous environments. The MR-A++ model creates a training task to gather information prior to the distribution of data. Therefore the information will be used to manager the system. To evaluate the algorithms change it was employed a 2k Factorial analysis and simulations with the simulant MRSG built for the study of environments (homogeneous and heterogeneous) large-scale use of MapReduce. The small delay introduced in phase of setup of computing compensates with the adequacy of heterogeneous environment to computational capacity of the machines, with gains in the run-time reduction of jobs exceeding 70% in some cases.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação. / Made available in DSpace on 2013-06-25T19:01:36Z (GMT). No. of bitstreams: 1 311578.pdf: 2043029 bytes, checksum: f4fa868d82195a370a6dff6db5b207fe (MD5) / Com a implantação da Rede Catarinense de Telemedicina tem-se verificado um aumento significativo no volume de imagens médicas, do padrão DICOM, geradas pelos dispositivos médicos interconectados nesta rede. Visando a manipulação dessas imagens médicas, foi desenvolvido em um projeto prévio, um servidor conhecido como CyclopsDCMServer, para a manipulação das imagens DICOM considerando a abordagem usando o Hierarchical Data Format (HDF5). Todavia, é esperado que a abordagem venha a encontrar gargalos devido ao crescimento no volume de dados e operações simultâneas que são submetidas ao servidor. Com o objetivo de dar continuidade ao esforço para prover uma melhor escalabilidade ao servidor CyclopsDCMServer, nesta dissertação apresenta-se uma pesquisa no sentido de potencializar a implementação de um paradigma paralelo no servidor para o armazenamento e recuperação das imagens DICOM. Desta forma, desenvolveu-se um módulo considerando bibliotecas E/S paralelas de alto desempenho. Este módulo efetua uma comunicação com o servidor que é responsável pela realização do acesso paralelo no formato de dados hierárquico. Visando a avaliação de desempenho da abordagem paralela, foram executados experimentos em diferentes sistemas de arquivos distribuídos. Os experimentos foram focados principalmente nas operações de armazenamento e recuperação das imagens médicas. Comparou-se o tempo médio de execução de cada operação em serial e paralelo. Foi coletado também o tempo de E/S em cada operação, para averiguar somente o desempenho do processo de escrita e leitura dos dados, descartando qualquer atraso que pudesse interferir nos resultados. Os resultados empíricos demonstraram que, independente do sistema de arquivos, a abordagem paralela ainda não apresenta uma eficiência considerável, quando comparada com a arquitetura serial. A média do declínio de desempenho pode ser considerada em torno de 45% na operação de recuperação e 71% na operação de armazenamento. Verificou-se também que o aumento do número de processos paralelos pode causar uma perda maior de desempenho nesta abordagem. / With the deployment of Catarinense Network of Telemedicine has verified a meaningful increase in volume of medical images, DICOM standard, generated by medical devices interconnected on this network. In order to manipulate this medical images was develop in one previous project, a server known as CyclopsDCMServer, to manipulate DICOM images considering the approach Hierarchical Data Format (HDF5). However, it is expected that this approach will find bottlenecks due the spread of data size and simultaneously operations submitted to the server. With focus to continue the effort to supply better scalability to the server CyclopsDCMServer, this dissertation presents a research in the sense to empowerment the implementation of a parallel paradigm in the server to storage and retrieve DICOM images. Thus, it was developed a module considering high performance parallel I/O libraries. This module performs a communication with the server that is responsible for the creation of parallel access in hierarchical data format Aiming at the performance evaluation of the parallel approach, experiments were performed in different distributed file systems. The experiments were mainly focused on the operations of storage and retrieval of medical images. It was compared the average execution time of each operation in serial and parallel. It was also collected the I/O time in each operation, only to ascertain the performance of the process of writing and reading data, discarding any delay that could meddle the results. The empirical results show that, regardless of file system, the parallel approach does not present a considerable eficiency when compared to the serial architecture. The average decline in performance can be seen at around 45 % in the recovery operation and 71 % in the storage operation. It was also observed that increasing the number of parallel processes can cause a larger loss of performance in this approach.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Automação e Sistemas, Florianópolis, 2012 / Made available in DSpace on 2013-06-25T23:52:31Z (GMT). No. of bitstreams: 1 314311.pdf: 675294 bytes, checksum: 4f4a5c9fb7d567a0d9359a1006d7e819 (MD5) / As redes par a par (peer-to-peer, P2P) formam uma arquitetura de sistemas distribuídos que apresenta características de escalabilidade, abertura e dinamismo. Essas redes P2P foram inicialmente popularizadas por aplicações de compartilhamento de arquivos, porém hoje suas características as tornaram a base para construção de aplicações que necessitam de larga escala. Apesar das vantagens das redes P2P, sua grande abertura e dinamismo trazem algumas dificuldades para a construção de certos tipos de aplicações. Entre os principais desafios estão a dificuldade em manter a consistência das informações com a possibilidade de entrada e saída de nós durante a execução e a necessidade de tolerar a participação de nós maliciosos que tem por objetivo corromper o sistema e impedir seu funcionamento. Esses desafios fizeram com que a maioria das aplicações sobre P2P sejam aplicações de armazenamento de informações que sofrem pouca ou nenhuma alteração durante a execução e que são autoverificáveis, isto é, é possível identificar modificações maliciosas ou acidentais pela análise do próprio conteúdo. Dentro desse contexto, a proposta desta dissertação é a especificação de uma infraestrutura para a construção de aplicações arbitrárias, por meio de uma abstração de memória distribuída compartilhada, que tolere a participação de um número de nós maliciosos. A ideia central consiste em aplicar técnicas de Replicação Máquina de Estados (RME) sobre a rede P2P. No entanto, RME apresenta problemas de escala pois o número de mensagens trocadas para coordenar as réplicas é de ordem quadrática. Assim sendo, a proposta é dividir a rede P2P em conjuntos de nós com tamanho limitado, denominados de segmentos, de forma a garantir o desempenho dos protocolos RME. Segmentos são dinâmicos, ou seja, podem aumentar ou diminuir à medida que nós entram e saem do sistema, porém a infraestrutura garante, por meio da união ou divisão de segmentos, que o tamanho permanece dentro dos limites estabelecidos. O sistema foi elaborado como uma pilha de camadas com funcionalidades descritas na forma de operações e propriedades. As operações da segmentação foram implementadas por algoritmos em pseudocódigo, cujo funcionamento correto foi demonstrado em provas de lemas e teoremas. Uma análise crítica dos algoritmos esclareceu limitações e levantou os custos dos mesmos. A fim de demonstrar a expressividade da infraestrutura proposta, um espaço de tuplas foi construído utilizando as operações implementadas.<br> / Abstract : Peer-to-peer (P2P) networks form a distributed system architecture that feature good scalability, openness and dynamism. Such networks were first made popular by file-sharing applications, although nowadays these features bacame the basis for the construction of applications that require scalability. Even though P2P networks have some advantages, their openness and dynamism give raise to some difficulties in the construction of certain types of application. Among the most important challenges are the trouble to maintain consistency in face of constant nodes joining and leaving the system, and the need to tolerate the participation of malicious nodes whose purpose is to disrupt the system and to prevent its functioning. These challenges forced that most applications on P2P are storage applications where data is seldom changed and is self-verifying, i.e. it is possible to detect either malicious or accidental modifications by checking the data itself. Within this context, our proposal in this dissertation is the specification of an infrastruture for the construction of arbitrary applications, by means of a shared memory abstraction, that tolerates the participation of a certain number of malicious nodes. The central idea consists of leveraging State Machine Replication (SMR) techniques on top of P2P networks. The problem is SMR has scalability issues as the number of messages exchanged ikn replica coordination is quadratic. Given that, aor proposal is to split the P2P network in sets of limited size, called segments, in a way to ensure the SMR protocolos perform well. Segments are dynamic, i.e. they can grow or shrink as nodes join or leave the system, but the infrastruture guarantees, either by merging or splitting segments, that their size keeps within established limits. The system was designed as a stack of layers whose functionality is defined by a set of operations and its properties. The operations of the segmentation layer were implemented by distributed algorithms written in pseudocode. The correct operation of these algorithms was shown by theorem proofs. Furthermore, a critical analysis of these algorithms clarified limitations and assessed their costs. In order to demonstrate the expressiveness of the proposed infrastructure, a tuple space was built using the implemented operations.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-graduação em Ciência da Computação / Made available in DSpace on 2013-07-16T00:25:26Z (GMT). No. of bitstreams: 1 222069.pdf: 674277 bytes, checksum: 8743cf785918332b4c881ab7e5266494 (MD5) / Este trabalho faz uma avaliação dos recursos disponíveis para viabilizar a interoperabilidade de bases de dados distribuídas e heterogêneas e propõe um modelo alternativo para a solução do problema. O modelo proposto se apresenta como definição metodológica, possível de ser implementado em qualquer ambiente operacional e aplicável em qualquer base de dados. O objetivo deste trabalho é mostrar que as alternativas disponíveis para solucionar esta problemática, quando já implementadas, apresentam um alto grau de complexidade e não atendem adequadamente todas as demandas relacionadas com a interoperabilidade de bases de dados distribuídas e heterogêneas. O trabalho apresenta uma proposta de mediador, modelado em UML (Unified Modeling Language), que permite a interoperabilidade entre bases de dados distribuídas e heterogêneas. Também é apresentada a implementação do modelo, onde são exploradas as características, comportamento e avaliada sua aplicabilidade em diferentes ambientes operacionais e linguagens de programação.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação. / Made available in DSpace on 2013-07-16T00:45:32Z (GMT). No. of bitstreams: 1 229512.pdf: 851100 bytes, checksum: 14a20c287c2eb8408d2ad0d986363fbc (MD5) / A computação em grid (ou computação em grade) consiste em uma forma de computação distribuída onde o foco principal é o compartilhamento coordenado de recursos em larga escala e resolução de problemas em organizações virtuais dinâmicas e multi-institucionais. Porém, tal compartilhamento deve ser altamente controlado, para garantir a segurança dos recursos envolvidos. Este trabalho se baseia na especificação OGSA (Open Grid Service Architecture) proposta pelo GGF (Global Grid Forum), em particular no Globus Toolkit 3 que a implementa, e apresenta uma proposta de extensão ao módulo de monitoramento e descoberta de recursos (MDS), para filtrar os resultados retornados baseado nos atributos do usuário e nas políticas do recurso.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2013. / Made available in DSpace on 2013-12-05T22:56:06Z (GMT). No. of bitstreams: 1 320885.pdf: 1817207 bytes, checksum: 221b231c6a7d4919cf11344c7e9ca481 (MD5) Previous issue date: 2013 / Visando suprir a necessidade de segurança no funcionamento de sistemas computacionais, diversas abordagens tolerantes a faltas bizantinas foram criadas. Apesar de terem fins práticos, a maior parte destas abordagens ainda apresenta um fraco desempenho ou requisitos que limitam seu uso em boa parte dos cenários reais. Neste trabalho de pesquisa é apresentada uma arquitetura e um algoritmo para replicação de máquina de estados tolerante a faltas bizantinas usando virtualização. A virtualização, apesar de existir há mais de 30 anos, vem se tornando cada vez mais comum recentemente, sendo muito utilizada em aplicações de computação em nuvens. São exploradas as vantagens fornecidas pela virtualização para detectar e tolerar réplicas faltosas, de forma a transformar ou reduzir faltas bizantinas em faltas de omissão. Com esta transformação, a abordagem apresentada é capaz de reduzir o número total de réplicas físicas necessárias de 3f + 1, em abordagens tradicionais, para 2f + 1. Esta abordagem se baseia no conceito de máquinas virtuais gêmeas, ou seja, na execução de um conjunto de máquinas virtuais em cada máquina física, cada uma funcionando de uma certa forma como um detector de falhas de sua gêmea, a partir da validação das mensagens enviadas. Neste contexto, um protótipo foi implementado e alguns experimentos foram realizados para obter medidas do desempenho da abordagem em uma execução prática. <br> / Abstract : Aiming to supply the need for security in information systems, a lotof approaches were proposed. Despite of being practical, most part ofthese approaches still lack in performance or have too strong requirements.We present an architecture and an algorithm for Byzantinefault-tolerant state machine replication using virtualization. Despite ofexisting for more than 30 years, virtualization is becoming more common,mainly because of cloud computing applications. Our algorithmexplores the advantages of virtualization to reliably detect and toleratefaulty replicas, allowing the transformation of Byzantine faults intoomission faults. Our approach reduces the total number of physicalreplicas from 3f +1, in traditional approaches, to 2f +1. Our approachis based on the concept of twin virtual machines, where thereare a set of virtual machines in each physical host, each one acting asfailure detector of its twin, by the validation of the messages sent.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação. / Made available in DSpace on 2012-10-21T04:18:52Z (GMT). No. of bitstreams: 1 209098.pdf: 688752 bytes, checksum: bb2f9de1a806f5cf15c0b8cc05c16540 (MD5) / Um dos desafios para os sistemas computacionais modernos é a implantação destes em projetos que utilizam as técnicas de distribuição, tanto de dados quanto da execução de processos em máquinas distribuídas geograficamente em localidades diferentes. Para atender estes requisitos explora-se a capacidade de plataformas baseadas em componentes, utilizadas para prover estas características às aplicações corporativas. Da utilização destes componentes em aplicações distribuídas surgem estudos e técnicas para garantir melhor desempenho, transparência, segurança e disponibilidade garantida.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação. / Made available in DSpace on 2012-10-22T01:11:16Z (GMT). No. of bitstreams: 1 213684.pdf: 479521 bytes, checksum: 76ef279df5de278a73eee8d7f8e0caab (MD5) / Nas pilhas de protocolos de rede típicas, como TCP/IP, a camada de rede oferece transmissão não confiável de datagramas um serviço muito primitivo para ser usado diretamente pelas aplicações em geral. É a camada de transporte a responsável por oferecer serviços de rede confiáveis e confortáveis às aplicações. A pilha TCP/IP oferece tradicionalmente apenas dois protocolos de transporte: TCP e UDP. O UDP implementa apenas o recurso de portas, sem acrescentar confiabilidade à rede. O TCP, por outro lado, oferece um serviço confiável, com conexões ponto-a-ponto e transmissão de bytes, abstraindo completamente as características da rede. TCP e UDP são dois extremos; algumas aplicações desejariam usar ao mesmo tempo recursos de ambos os protocolos, e/ou ter controle mais direto sobre alguns aspectos da rede. Tal necessidade surgiu na sinalização telefônica, o que motivou a criação de um novo transporte, o SCTP. O SCTP (Stream Control Transmission Protocol) guarda diversas semelhanças com o TCP, mas também apresenta diversos recursos adicionais interessantes: transmissão de mensagens indivisíveis, multiplos fluxos de mensagens por conexão, variação da confiabilidade das mensagens, bem como melhorias de segurança. A proposta deste trabalho é apresentar os recursos do SCTP, estudar a aplicabilidade do mesmo a protocolos de aplicação que hoje utilizam TCP ou UDP como transporte, e realizar testes de desempenho sobre uma implementação real do SCTP, com a simulação de diversas condições típicas de rede. O desenvolvimento do trabalho envolveu uma razoável revisão bibliográfica sobre protocolos em todas as camadas, criação e adaptação de aplicativos para execução dos testes, uso de ferramentas de simulação de rede, escolha de métricas de avaliação de desempenho, e adaptação de protocolos de aplicação ao SCTP.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação. / Made available in DSpace on 2012-10-19T18:19:46Z (GMT). No. of bitstreams: 1 194621.pdf: 453677 bytes, checksum: dbe3866e7ca7ae5997e548680f1ec54d (MD5) / Este trabalho objetiva uma melhor compreensão de ambientes móveis no contexto de aplicações distribuídas. Para ser mais específico, propõe-se uma arquitetura de aplicações distribuídas nas quais a mobilidade foi usada para proporcionar procedimentos de otimização entre o ambiente de aplicação e suas interações. Este trabalho está interessado em dois tipos de procedimentos de otimização. Primeiro, colocando-se os dados próximos à interação do usuário proporciona aplicações mais eficientes por que a comunicação computadorizada se torna melhor assim que a distância física entre as entidades diminui. Segundo, a utilização de armazenamento e recursos de processamento distribuídos ao longo da rede de computadores sofre um processo de balanço de carga automático. Ambientes móveis permanecem mais freqüentemente nos computadores mais usados. Com o passar do tempo eles poderiam ser identificados e muito melhor adaptados às necessidades reais. A fim de se ter uma avaliação prática dessas idéias, foi desenvolvido um protótipo de uma aplicação distribuída que fornece um serviço de armazenamento e empréstimo de livros numa biblioteca em rede. Os resultados demonstram que o sistema foi possível e também rentável em relação aos métodos convencionais.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação. / Made available in DSpace on 2012-10-19T23:22:12Z (GMT). No. of bitstreams: 1 192126.pdf: 497864 bytes, checksum: 46784b966e6278e10b872663354e8e03 (MD5) / Neste trabalho apresenta-se um modelo para o desenvolvimento de uma aplicação baseada em agentes móveis. Esta aplicação é desenvolvida de acordo com uma política de segurança. Tal política faz com que os riscos existentes na utilização de agentes sejam reduzidos. Questões como a proteção do agente, do computador hospedeiro e da rede são abordados neste trabalho, assim como os tipos de ataque que podem ser encontrados neste paradigma. A identidade é o ponto de partida do modelo de segurança pois, através dela, os elementos podem ser autenticados. Além das identidades, o modelo de segurança é baseado ainda em permissões associadas a elementos e a recursos do sistema, proteções e autorizações. O modelo de segurança proposto por Karjoth [KARJOTH at al 97], utilizado como base deste trabalho, é aplicado em um caso prático, usando a plataforma de agentes móveis da IBM cujo nome é Aglets. Esta plataforma foi desenvolvida utilizando a linguagem