Made available in DSpace on 2015-09-17T15:24:39Z (GMT). No. of bitstreams: 0 Previous issue date: 2014-12-04. Added 1 bitstream(s) on 2015-09-17T15:47:30Z : No. of bitstreams: 1 000844069.pdf: 3912635 bytes, checksum: ba04b4180d0780ce76331a7b3a9824d2 (MD5) / Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) / Um sistema de arquivos distribuído permite que usuários e aplicações possam armazenar e compartilhar dados, acessando tais recursos remotamente como se fossem locais. As características de um sistema de arquivos distribuído podem ser variadas. Assim, é impossível conceber um sistema abrangendo todas as características desejáveis, tais como: transparência, desempenho, escalabilidade, confiabilidade e disponibilidade, por exemplo. O sistema de arquivos distribuído Flexível e Adaptável (FlexA) incorpora importantes características do NFS, AFS, GFS e Tahoe-LAFS. Este sistema elimina a necessidade de um servidor principal (como o master no GFS ou o Introducer no Tahoe-LAFS). Os arquivos são armazenados em dois grupos de servidores: um grupo de leitura, onde somente dados são armazenados, e um grupo de escrita, onde dados e metadados são armazenados. A disponibilidade é provida por um mecanismo semelhante ao apresentado pelo Tahoe-LAFS. No presente estudo são apresentadas as melhorias alcançadas por meio da disponibilidade do FlexA. Os detalhes sobre as modificações no FlexA, bem como os resultados obtidos indicam que o FlexA é uma importante opção de sistema de arquivos distribuído / A distributed file system allows users and applications to store and share data, accessing such resources remotely as if they were local. The characteristics of a distributed file system can be varied. Thereby, it is impossible to design a system covering all desirable characteristics, such as transparency, performance, scalability, reliability and availability, for example. The Flexible and Adaptable distributed file system (FlexA) incorporate important characteristics of NFS, AFS, GFS and Tahoe-LAFS. It eliminates the need for main server (such as the master in GFS or the introducer in Tahoe-LAFS). File storage is provided by two group of server: a reading group, where only data is found, and a writing group, where data and metadata are stored. Availability is provided in FlexA through a mechanism similar to the one presented by Tahoe-LAFS. In the present study the improvements achieved through the availability and performance of FlexA are presented. Details about the changes in the FlexA as well as the obtained results indicate that the FlexA is an important option for distributed file system / FAPESP: 2012/02926-5

Orientador: Renata Spolon Lobato / Coorientador: Aleardo Manacero Junior / Banca: Norian Marranghello / Banca: Sarita Mazzini Bruschi / Resumo: Um sistema de arquivos distribuído permite que usuários e aplicações possam armazenar e compartilhar dados, acessando tais recursos remotamente como se fossem locais. As características de um sistema de arquivos distribuído podem ser variadas. Assim, é impossível conceber um sistema abrangendo todas as características desejáveis, tais como: transparência, desempenho, escalabilidade, confiabilidade e disponibilidade, por exemplo. O sistema de arquivos distribuído Flexível e Adaptável (FlexA) incorpora importantes características do NFS, AFS, GFS e Tahoe-LAFS. Este sistema elimina a necessidade de um servidor principal (como o master no GFS ou o Introducer no Tahoe-LAFS). Os arquivos são armazenados em dois grupos de servidores: um grupo de leitura, onde somente dados são armazenados, e um grupo de escrita, onde dados e metadados são armazenados. A disponibilidade é provida por um mecanismo semelhante ao apresentado pelo Tahoe-LAFS. No presente estudo são apresentadas as melhorias alcançadas por meio da disponibilidade do FlexA. Os detalhes sobre as modificações no FlexA, bem como os resultados obtidos indicam que o FlexA é uma importante opção de sistema de arquivos distribuído / Abstract: A distributed file system allows users and applications to store and share data, accessing such resources remotely as if they were local. The characteristics of a distributed file system can be varied. Thereby, it is impossible to design a system covering all desirable characteristics, such as transparency, performance, scalability, reliability and availability, for example. The Flexible and Adaptable distributed file system (FlexA) incorporate important characteristics of NFS, AFS, GFS and Tahoe-LAFS. It eliminates the need for main server (such as the master in GFS or the introducer in Tahoe-LAFS). File storage is provided by two group of server: a reading group, where only data is found, and a writing group, where data and metadata are stored. Availability is provided in FlexA through a mechanism similar to the one presented by Tahoe-LAFS. In the present study the improvements achieved through the availability and performance of FlexA are presented. Details about the changes in the FlexA as well as the obtained results indicate that the FlexA is an important option for distributed file system / Mestre

Um dos maiores desafios no desenvolvimento de sistemas de alto desempenho é a questão da transferência e armazenamento de grandes quantidades de dados dentro do sistema. Diferentes abordagens tentam solucionar este problema. Entre elas, tem-se os sistemas de arquivos voltados para cluster, como PVFS, Lustre e NFSp. Eles distribuem as funções de armazenamento entre os nós do cluster. Na maioria dos casos, os nós do sistema de arquivos são divididos em duas categorias: servidores de dados e servidores de metadados. Assim, fica a cargo do administrador determinar como estes servidores são dispostos dentro do cluster. No entanto, esta tarefa nem sempre é óbvia, pois grande parte dos sistemas de arquivos exige que os nós destinados ao sistema sejam determinados na sua instalação, sem a possibilidade de alterações posteriores. Uma má configuração inicial pode exigir a reinstalação do sistema, e o fato de não fazer esta reinstalação pode resultar em um serviço que não satisfaz às necessidades dos usuários.O objetivo deste trabalho é propor um modelo de tratamento do dinamismo de servidores de dados em um sistema de arquivos para cluster. Três cenários foram estudados, e para cada um deles foram analisadas estratégias de autoconfiguração do sistema de arquivos emtempo de execução. O primeiro caso tratado foi a adição de servidores de dados por parte do administrador para expandir a capacidade do sistema de arquivos. Testes sobre este caso mostraram que, nas situações onde a distribuição de carga entre os servidores de dados é homogênea, pode-se extrair os melhores resultados do sistema. O segundo caso tratado foi a inserção por parte do usuário de servidores temporários de dados. Esta inserção temcomo objetivo suprir as necessidades temporárias de algumas aplicações. Foram realizados testes comparando o desempenho de aplicações com e sem a utilização de servidores temporários. Em todos os casos, a aplicação com servidores temporários teve maior desempenho, atingindo até 20% de ganho. O último cenário tratado combina técnicas de replicação com o dinamismo de nós. Assim, foi possível manter o sistema de arquivos em funcionamento mesmo após a perda de um servidor de dados. Os resultados mostraram que a perda de servidores de dados pode resultar em desequilíbrio de carga entre servidores, comprometendo o desempenho do sistema de arquivos. / One of the most important challenges to high performance systems designers is storing and transfering large amounts of data between the nodes on the system. Different approaches have been proposed to solve this storage performance problem. Cluster file systems, like PVFS, Lustre and NFSp are examples of such systems, as they distribute the functionality of a file system across the nodes of cluster, achieving a high level of parallelism and offering a larger storage space than centralized solutions. Usually the file system nodes are of two types: metadata servers and data servers. The placement of those services on a cluster is left to the cluster administrator. Such configuration is not an obvious task, as most file systems do not allow changing the configuration after the installation. A suboptimal initial configuration may result on a file system that does not fit the users need and changing such configuration may require a file system reinstall. The objective of this work is to propose a model to treat the dynamism of data servers on a cluster file system. Three scenarios were studied and for each one we have designed suitable reconfiguration strategies. The first case has its origin on the system administrator’s actions, adding or removing data servers to change the capacity of the file system. The tests have shown that with an homogeneous load distribution across the servers it was possible to obtain the best results. The second scenario treats the temporary data server insertion by the user. This case aims to provide extra storage capacity to a specified application. Tests were performed comparing applications with and without temporary data servers. On all the cases the application with temporary data server has had better performance results, reaching 20% of performance gain. The last scenario, combines replication techniqueswith server dynamism. Thisway, itwas possible to keep the file systemworking even on data servers failure. The tests have shown that the losts of a nodemay result on load unbalancing on data servers, degrading the overall file system performance.

A injeção de falhas permite acelerar a ocorrência de erros em um sistema para que seja possível a validação de seu comportamento sob falhas, assim como a avaliação do impacto dos mecanismos de detecção e remoção de erros no desempenho do sistema. Abordagens que facilitem o desenvolvimento de injetores vêm sendo buscadas com empenho, variando desde a inserção de injetores no kernel do sistema operacional até o uso de reflexão computacional para aplicações orientadas a objetos. Este trabalho explora os recursos da Programação Orientada a Aspectos como estratégia para a criação de ferramentas de injeção de falhas. A Programação Orientada a Aspectos tem como objetivo a modularização de interesses transversais, isto é, interesses que atravessam as unidades naturais de modularização. A injeção de falhas possui um comportamento que abrange os diversos módulos da aplicação alvo, afetando métodos que são executados em diversas classes em diversos pontos da aplicação. Desta forma, a injeção de falhas pode ser encapsulada sob a forma de aspectos. Para demonstrar a validade da proposta apresentada foi desenvolvida a ferramenta FICTA – Fault Injection Communication Tool based on Aspects. O objetivo é a validação de aplicações Java distribuídas, construídas sobre o protocolo UDP e que implementem mecanismos de tolerância a falhas em protocolos de camadas superiores. A importância de instrumentar um protocolo de base é justificada pelo fato da necessidade de validar aplicações, toolkits e middlewares que implementem tolerância a falhas em camadas superiores, logo, esses protocolos devem lidar corretamente com as falhas de mais baixo nível. A ferramenta abrange falha de colapso e omissão de mensagens do protocolo UDP. O uso de Programação Orientada a Aspectos na construção de FICTA resultou em uma ferramenta altamente modular, reusável e flexível, que pode ser facilmente inserida e removida da aplicação alvo, sem causar intrusividade espacial no código fonte da aplicação. / The fault injection allows us to accelerate the occurrence of failures in a system so that it is possible to validate its behavior under faults, as well as the evaluation of the impact on the mechanisms of detection and removal of failures in the performance of the system. The approaches that may facilitate the development of injectors have been searched with effort, varying from the insertion of injectors in the kernel of the operational system up to the computational reflection for object oriented applications. This work explores the resources of the Aspect Oriented Programming as a strategy to create tools of fault injection. The Aspect Oriented Programming has as its goal the modularization of the crosscutting concerns, that is to say the interests that cross the natural units of modularization. The fault injection has a behavior that covers the various modules of the target application, affecting methods that are executed in several classes of several areas of the application. Thus, the Fault Injection may be encapsulated under the form of aspects. To demonstrate the worthiness of the presented proposal, a tool called FICTA - Fault Injection Communication Tool based on Aspects, has been developed. The aim is to validate Java distributed applications built under the UDP protocol so that the fault tolerance mechanisms can be implemented in upper layers. The importance of instrumentate a protocol of base is justified by the necessity of validating applications, toolkits and middlewares that implement fault tolerance in upper layers, then, these protocols must deal correctly with the lower level faults. The tool covers crash and message omission faults of the UDP protocol. The use of Aspect Oriented Programming in the construction of FICTA resulted in a tool highly modular, reusable and flexible that may be easily inserted and removed from the target application, without causing spatial intrusiveness in the source code of the application.

Diversas aplicações executadas em ambientes de cluster necessitam de uma área de armazenamento permanente com alta capacidade e que forneça uma visão homogênea dos dados entre todos os nós. Esta área compartilhada é comumente implementada através de um sistema de arquivos distribuído, permitindo o acesso através da abstração mais comum para gerenciamento de dados. A disparidade entre poder de processamento e desempenho de dispositivos de armazenamento atuais, no entanto, torna tais sistemas um ponto crítico ao desempenho de aplicações paralelas que lidam com grandes volumes de dados. Ambientes de cluster podem apresentar execução concorrente de aplicações em conjuntos independentes de máquinas. Desta forma, uma grande quantidade de clientes com características distintas farão acessos ao sistema de arquivos compartilhado. Em tais casos, o dimensionamento do sistema de armazenamento distribuído nem sempre poderá prover o desempenho necessário à execução das aplicações com os recursos inicialmente a ele destinados. O presente trabalho propõe uma estratégia de reconfiguração dinâmica para o sistema de arquivos dNFSp. Esta estratégia leva em consideração o comportamento temporal presente em aplicações paralelas para inserir servidores de dados exclusivos a aplicações com alta demanda de I/O. Com a utilização de servidores exclusivos, torna-se possível isolar aplicações com comportamentos que causam grande perda de desempenho no sistema como um todo. Foi desenvolvida uma ferramenta de monitoramento do desempenho junto aos servidores do dNFSp, de forma a solicitar novos servidores apenas quando a interação das fases de I/O das aplicações em execução interferirem no desempenho do sistema. Esses novos servidores são solicitados para um sistema escalonador de recursos para cluster, de forma a utilizar nós livres para o armazenamento de dados. Os resultados mostram que a estratégia proposta é capaz de detectar a saturação do sistema de armazenamento e iniciar os servidores exclusivos, levando a um ganho de desempenho para as aplicações em execução. A reconfiguração dinâmica também mostrou-se capaz de evitar baixos desempenhos causados pela interação dos períodos de inatividade de aplicações temporais e pela utilização de diversos processos de I/O em um único nó. / Several applications executed in cluster environments need a shared storage area with high capacity and a homogeneous view of the stored data to all processing nodes. This area is commonly implemented as a distributed file system, allowing the access to data through the well-known file abstraction. The great gap in performance of processors and storage devices, on the other hand, makes such system a critical point to the performance of parallel applications. A common trait of large cluster environments is the concurrent execution of applications. In this scenario, many clients with distinct behaviors will compete to access the shared storage system. The number of I/O resources originally dedicated to this shared storage may provide unsatisfactory performance to the applications in this case. This work proposes a dynamic reconfiguration strategy for the dNFSp file system. This strategy takes into consideration the temporal behavior of distributed applications to launch dedicated I/O resources to the more I/O-demanding applications. The exclusiveness of data servers allows for the isolation of access patterns that cause contention on the system, resulting in improved performance for all executing applications. We developed a tool to monitor the performance of the storage servers in order to launch new servers only when the interaction of I/O phases from running applications cause each other’s performance to drop. These resources are required to a batch scheduler system present on the cluster, allowing the use of computing nodes for temporary data storage. The results show that the proposed metrics lead to the detection of performance saturation on the file system and the start of the dedicated resources, resulting in increased I/O performance. The reconfiguration has also been able to avoid some low performance situations caused by interactions of inactivity periods from temporal applications and by utilization of several I/O processes on the same cluster node.

Diversas aplicações executadas em ambientes de cluster necessitam de uma área de armazenamento permanente com alta capacidade e que forneça uma visão homogênea dos dados entre todos os nós. Esta área compartilhada é comumente implementada através de um sistema de arquivos distribuído, permitindo o acesso através da abstração mais comum para gerenciamento de dados. A disparidade entre poder de processamento e desempenho de dispositivos de armazenamento atuais, no entanto, torna tais sistemas um ponto crítico ao desempenho de aplicações paralelas que lidam com grandes volumes de dados. Ambientes de cluster podem apresentar execução concorrente de aplicações em conjuntos independentes de máquinas. Desta forma, uma grande quantidade de clientes com características distintas farão acessos ao sistema de arquivos compartilhado. Em tais casos, o dimensionamento do sistema de armazenamento distribuído nem sempre poderá prover o desempenho necessário à execução das aplicações com os recursos inicialmente a ele destinados. O presente trabalho propõe uma estratégia de reconfiguração dinâmica para o sistema de arquivos dNFSp. Esta estratégia leva em consideração o comportamento temporal presente em aplicações paralelas para inserir servidores de dados exclusivos a aplicações com alta demanda de I/O. Com a utilização de servidores exclusivos, torna-se possível isolar aplicações com comportamentos que causam grande perda de desempenho no sistema como um todo. Foi desenvolvida uma ferramenta de monitoramento do desempenho junto aos servidores do dNFSp, de forma a solicitar novos servidores apenas quando a interação das fases de I/O das aplicações em execução interferirem no desempenho do sistema. Esses novos servidores são solicitados para um sistema escalonador de recursos para cluster, de forma a utilizar nós livres para o armazenamento de dados. Os resultados mostram que a estratégia proposta é capaz de detectar a saturação do sistema de armazenamento e iniciar os servidores exclusivos, levando a um ganho de desempenho para as aplicações em execução. A reconfiguração dinâmica também mostrou-se capaz de evitar baixos desempenhos causados pela interação dos períodos de inatividade de aplicações temporais e pela utilização de diversos processos de I/O em um único nó. / Several applications executed in cluster environments need a shared storage area with high capacity and a homogeneous view of the stored data to all processing nodes. This area is commonly implemented as a distributed file system, allowing the access to data through the well-known file abstraction. The great gap in performance of processors and storage devices, on the other hand, makes such system a critical point to the performance of parallel applications. A common trait of large cluster environments is the concurrent execution of applications. In this scenario, many clients with distinct behaviors will compete to access the shared storage system. The number of I/O resources originally dedicated to this shared storage may provide unsatisfactory performance to the applications in this case. This work proposes a dynamic reconfiguration strategy for the dNFSp file system. This strategy takes into consideration the temporal behavior of distributed applications to launch dedicated I/O resources to the more I/O-demanding applications. The exclusiveness of data servers allows for the isolation of access patterns that cause contention on the system, resulting in improved performance for all executing applications. We developed a tool to monitor the performance of the storage servers in order to launch new servers only when the interaction of I/O phases from running applications cause each other’s performance to drop. These resources are required to a batch scheduler system present on the cluster, allowing the use of computing nodes for temporary data storage. The results show that the proposed metrics lead to the detection of performance saturation on the file system and the start of the dedicated resources, resulting in increased I/O performance. The reconfiguration has also been able to avoid some low performance situations caused by interactions of inactivity periods from temporal applications and by utilization of several I/O processes on the same cluster node.

Um dos maiores desafios no desenvolvimento de sistemas de alto desempenho é a questão da transferência e armazenamento de grandes quantidades de dados dentro do sistema. Diferentes abordagens tentam solucionar este problema. Entre elas, tem-se os sistemas de arquivos voltados para cluster, como PVFS, Lustre e NFSp. Eles distribuem as funções de armazenamento entre os nós do cluster. Na maioria dos casos, os nós do sistema de arquivos são divididos em duas categorias: servidores de dados e servidores de metadados. Assim, fica a cargo do administrador determinar como estes servidores são dispostos dentro do cluster. No entanto, esta tarefa nem sempre é óbvia, pois grande parte dos sistemas de arquivos exige que os nós destinados ao sistema sejam determinados na sua instalação, sem a possibilidade de alterações posteriores. Uma má configuração inicial pode exigir a reinstalação do sistema, e o fato de não fazer esta reinstalação pode resultar em um serviço que não satisfaz às necessidades dos usuários.O objetivo deste trabalho é propor um modelo de tratamento do dinamismo de servidores de dados em um sistema de arquivos para cluster. Três cenários foram estudados, e para cada um deles foram analisadas estratégias de autoconfiguração do sistema de arquivos emtempo de execução. O primeiro caso tratado foi a adição de servidores de dados por parte do administrador para expandir a capacidade do sistema de arquivos. Testes sobre este caso mostraram que, nas situações onde a distribuição de carga entre os servidores de dados é homogênea, pode-se extrair os melhores resultados do sistema. O segundo caso tratado foi a inserção por parte do usuário de servidores temporários de dados. Esta inserção temcomo objetivo suprir as necessidades temporárias de algumas aplicações. Foram realizados testes comparando o desempenho de aplicações com e sem a utilização de servidores temporários. Em todos os casos, a aplicação com servidores temporários teve maior desempenho, atingindo até 20% de ganho. O último cenário tratado combina técnicas de replicação com o dinamismo de nós. Assim, foi possível manter o sistema de arquivos em funcionamento mesmo após a perda de um servidor de dados. Os resultados mostraram que a perda de servidores de dados pode resultar em desequilíbrio de carga entre servidores, comprometendo o desempenho do sistema de arquivos. / One of the most important challenges to high performance systems designers is storing and transfering large amounts of data between the nodes on the system. Different approaches have been proposed to solve this storage performance problem. Cluster file systems, like PVFS, Lustre and NFSp are examples of such systems, as they distribute the functionality of a file system across the nodes of cluster, achieving a high level of parallelism and offering a larger storage space than centralized solutions. Usually the file system nodes are of two types: metadata servers and data servers. The placement of those services on a cluster is left to the cluster administrator. Such configuration is not an obvious task, as most file systems do not allow changing the configuration after the installation. A suboptimal initial configuration may result on a file system that does not fit the users need and changing such configuration may require a file system reinstall. The objective of this work is to propose a model to treat the dynamism of data servers on a cluster file system. Three scenarios were studied and for each one we have designed suitable reconfiguration strategies. The first case has its origin on the system administrator’s actions, adding or removing data servers to change the capacity of the file system. The tests have shown that with an homogeneous load distribution across the servers it was possible to obtain the best results. The second scenario treats the temporary data server insertion by the user. This case aims to provide extra storage capacity to a specified application. Tests were performed comparing applications with and without temporary data servers. On all the cases the application with temporary data server has had better performance results, reaching 20% of performance gain. The last scenario, combines replication techniqueswith server dynamism. Thisway, itwas possible to keep the file systemworking even on data servers failure. The tests have shown that the losts of a nodemay result on load unbalancing on data servers, degrading the overall file system performance.

A injeção de falhas permite acelerar a ocorrência de erros em um sistema para que seja possível a validação de seu comportamento sob falhas, assim como a avaliação do impacto dos mecanismos de detecção e remoção de erros no desempenho do sistema. Abordagens que facilitem o desenvolvimento de injetores vêm sendo buscadas com empenho, variando desde a inserção de injetores no kernel do sistema operacional até o uso de reflexão computacional para aplicações orientadas a objetos. Este trabalho explora os recursos da Programação Orientada a Aspectos como estratégia para a criação de ferramentas de injeção de falhas. A Programação Orientada a Aspectos tem como objetivo a modularização de interesses transversais, isto é, interesses que atravessam as unidades naturais de modularização. A injeção de falhas possui um comportamento que abrange os diversos módulos da aplicação alvo, afetando métodos que são executados em diversas classes em diversos pontos da aplicação. Desta forma, a injeção de falhas pode ser encapsulada sob a forma de aspectos. Para demonstrar a validade da proposta apresentada foi desenvolvida a ferramenta FICTA – Fault Injection Communication Tool based on Aspects. O objetivo é a validação de aplicações Java distribuídas, construídas sobre o protocolo UDP e que implementem mecanismos de tolerância a falhas em protocolos de camadas superiores. A importância de instrumentar um protocolo de base é justificada pelo fato da necessidade de validar aplicações, toolkits e middlewares que implementem tolerância a falhas em camadas superiores, logo, esses protocolos devem lidar corretamente com as falhas de mais baixo nível. A ferramenta abrange falha de colapso e omissão de mensagens do protocolo UDP. O uso de Programação Orientada a Aspectos na construção de FICTA resultou em uma ferramenta altamente modular, reusável e flexível, que pode ser facilmente inserida e removida da aplicação alvo, sem causar intrusividade espacial no código fonte da aplicação. / The fault injection allows us to accelerate the occurrence of failures in a system so that it is possible to validate its behavior under faults, as well as the evaluation of the impact on the mechanisms of detection and removal of failures in the performance of the system. The approaches that may facilitate the development of injectors have been searched with effort, varying from the insertion of injectors in the kernel of the operational system up to the computational reflection for object oriented applications. This work explores the resources of the Aspect Oriented Programming as a strategy to create tools of fault injection. The Aspect Oriented Programming has as its goal the modularization of the crosscutting concerns, that is to say the interests that cross the natural units of modularization. The fault injection has a behavior that covers the various modules of the target application, affecting methods that are executed in several classes of several areas of the application. Thus, the Fault Injection may be encapsulated under the form of aspects. To demonstrate the worthiness of the presented proposal, a tool called FICTA - Fault Injection Communication Tool based on Aspects, has been developed. The aim is to validate Java distributed applications built under the UDP protocol so that the fault tolerance mechanisms can be implemented in upper layers. The importance of instrumentate a protocol of base is justified by the necessity of validating applications, toolkits and middlewares that implement fault tolerance in upper layers, then, these protocols must deal correctly with the lower level faults. The tool covers crash and message omission faults of the UDP protocol. The use of Aspect Oriented Programming in the construction of FICTA resulted in a tool highly modular, reusable and flexible that may be easily inserted and removed from the target application, without causing spatial intrusiveness in the source code of the application.

Diversas aplicações executadas em ambientes de cluster necessitam de uma área de armazenamento permanente com alta capacidade e que forneça uma visão homogênea dos dados entre todos os nós. Esta área compartilhada é comumente implementada através de um sistema de arquivos distribuído, permitindo o acesso através da abstração mais comum para gerenciamento de dados. A disparidade entre poder de processamento e desempenho de dispositivos de armazenamento atuais, no entanto, torna tais sistemas um ponto crítico ao desempenho de aplicações paralelas que lidam com grandes volumes de dados. Ambientes de cluster podem apresentar execução concorrente de aplicações em conjuntos independentes de máquinas. Desta forma, uma grande quantidade de clientes com características distintas farão acessos ao sistema de arquivos compartilhado. Em tais casos, o dimensionamento do sistema de armazenamento distribuído nem sempre poderá prover o desempenho necessário à execução das aplicações com os recursos inicialmente a ele destinados. O presente trabalho propõe uma estratégia de reconfiguração dinâmica para o sistema de arquivos dNFSp. Esta estratégia leva em consideração o comportamento temporal presente em aplicações paralelas para inserir servidores de dados exclusivos a aplicações com alta demanda de I/O. Com a utilização de servidores exclusivos, torna-se possível isolar aplicações com comportamentos que causam grande perda de desempenho no sistema como um todo. Foi desenvolvida uma ferramenta de monitoramento do desempenho junto aos servidores do dNFSp, de forma a solicitar novos servidores apenas quando a interação das fases de I/O das aplicações em execução interferirem no desempenho do sistema. Esses novos servidores são solicitados para um sistema escalonador de recursos para cluster, de forma a utilizar nós livres para o armazenamento de dados. Os resultados mostram que a estratégia proposta é capaz de detectar a saturação do sistema de armazenamento e iniciar os servidores exclusivos, levando a um ganho de desempenho para as aplicações em execução. A reconfiguração dinâmica também mostrou-se capaz de evitar baixos desempenhos causados pela interação dos períodos de inatividade de aplicações temporais e pela utilização de diversos processos de I/O em um único nó. / Several applications executed in cluster environments need a shared storage area with high capacity and a homogeneous view of the stored data to all processing nodes. This area is commonly implemented as a distributed file system, allowing the access to data through the well-known file abstraction. The great gap in performance of processors and storage devices, on the other hand, makes such system a critical point to the performance of parallel applications. A common trait of large cluster environments is the concurrent execution of applications. In this scenario, many clients with distinct behaviors will compete to access the shared storage system. The number of I/O resources originally dedicated to this shared storage may provide unsatisfactory performance to the applications in this case. This work proposes a dynamic reconfiguration strategy for the dNFSp file system. This strategy takes into consideration the temporal behavior of distributed applications to launch dedicated I/O resources to the more I/O-demanding applications. The exclusiveness of data servers allows for the isolation of access patterns that cause contention on the system, resulting in improved performance for all executing applications. We developed a tool to monitor the performance of the storage servers in order to launch new servers only when the interaction of I/O phases from running applications cause each other’s performance to drop. These resources are required to a batch scheduler system present on the cluster, allowing the use of computing nodes for temporary data storage. The results show that the proposed metrics lead to the detection of performance saturation on the file system and the start of the dedicated resources, resulting in increased I/O performance. The reconfiguration has also been able to avoid some low performance situations caused by interactions of inactivity periods from temporal applications and by utilization of several I/O processes on the same cluster node.

Um dos maiores desafios no desenvolvimento de sistemas de alto desempenho é a questão da transferência e armazenamento de grandes quantidades de dados dentro do sistema. Diferentes abordagens tentam solucionar este problema. Entre elas, tem-se os sistemas de arquivos voltados para cluster, como PVFS, Lustre e NFSp. Eles distribuem as funções de armazenamento entre os nós do cluster. Na maioria dos casos, os nós do sistema de arquivos são divididos em duas categorias: servidores de dados e servidores de metadados. Assim, fica a cargo do administrador determinar como estes servidores são dispostos dentro do cluster. No entanto, esta tarefa nem sempre é óbvia, pois grande parte dos sistemas de arquivos exige que os nós destinados ao sistema sejam determinados na sua instalação, sem a possibilidade de alterações posteriores. Uma má configuração inicial pode exigir a reinstalação do sistema, e o fato de não fazer esta reinstalação pode resultar em um serviço que não satisfaz às necessidades dos usuários.O objetivo deste trabalho é propor um modelo de tratamento do dinamismo de servidores de dados em um sistema de arquivos para cluster. Três cenários foram estudados, e para cada um deles foram analisadas estratégias de autoconfiguração do sistema de arquivos emtempo de execução. O primeiro caso tratado foi a adição de servidores de dados por parte do administrador para expandir a capacidade do sistema de arquivos. Testes sobre este caso mostraram que, nas situações onde a distribuição de carga entre os servidores de dados é homogênea, pode-se extrair os melhores resultados do sistema. O segundo caso tratado foi a inserção por parte do usuário de servidores temporários de dados. Esta inserção temcomo objetivo suprir as necessidades temporárias de algumas aplicações. Foram realizados testes comparando o desempenho de aplicações com e sem a utilização de servidores temporários. Em todos os casos, a aplicação com servidores temporários teve maior desempenho, atingindo até 20% de ganho. O último cenário tratado combina técnicas de replicação com o dinamismo de nós. Assim, foi possível manter o sistema de arquivos em funcionamento mesmo após a perda de um servidor de dados. Os resultados mostraram que a perda de servidores de dados pode resultar em desequilíbrio de carga entre servidores, comprometendo o desempenho do sistema de arquivos. / One of the most important challenges to high performance systems designers is storing and transfering large amounts of data between the nodes on the system. Different approaches have been proposed to solve this storage performance problem. Cluster file systems, like PVFS, Lustre and NFSp are examples of such systems, as they distribute the functionality of a file system across the nodes of cluster, achieving a high level of parallelism and offering a larger storage space than centralized solutions. Usually the file system nodes are of two types: metadata servers and data servers. The placement of those services on a cluster is left to the cluster administrator. Such configuration is not an obvious task, as most file systems do not allow changing the configuration after the installation. A suboptimal initial configuration may result on a file system that does not fit the users need and changing such configuration may require a file system reinstall. The objective of this work is to propose a model to treat the dynamism of data servers on a cluster file system. Three scenarios were studied and for each one we have designed suitable reconfiguration strategies. The first case has its origin on the system administrator’s actions, adding or removing data servers to change the capacity of the file system. The tests have shown that with an homogeneous load distribution across the servers it was possible to obtain the best results. The second scenario treats the temporary data server insertion by the user. This case aims to provide extra storage capacity to a specified application. Tests were performed comparing applications with and without temporary data servers. On all the cases the application with temporary data server has had better performance results, reaching 20% of performance gain. The last scenario, combines replication techniqueswith server dynamism. Thisway, itwas possible to keep the file systemworking even on data servers failure. The tests have shown that the losts of a nodemay result on load unbalancing on data servers, degrading the overall file system performance.