Made available in DSpace on 2015-03-04T18:50:30Z (GMT). No. of bitstreams: 1 Giacomo.pdf: 2099220 bytes, checksum: d6927d7d0c872e71a61326b4e0e42e48 (MD5) Previous issue date: 2010-12-10 / Fundação Carlos Chagas Filho de Amparo a Pesquisa do Estado do Rio de Janeiro / This work presents a proposal for a Cloud computing environment, for the deployment and execution of distributed applications. Cloud Computing may be defined as a provisioning model of on-demand, virtualized computing resources as a service. Here, I make a description of Cloud Computing as a type of distributed computing, comparing it with Grid Computing. Some intrinsic characteristics of Cloud environments are presented, along with proposals for their classification and general architecture. Additionally, I propose an implementation of a specific Cloud environment, oriented to scientific applications. I describe the proposed architecture and beha- vior of the implementation, indicating the considerations made while choosing and configuring its components. This work presents the evaluation of the proposed Cloud using a distributed application as a case study. The deployment in the virtualized environment is studied in detail. Finally, I present results of experiments conducted in order to evaluate the environment impact on the performance of processing and communication, and I discuss future work. / Neste trabalho é apresentado um ambiente de Cloud ou Nuvem, para a disponibilização e execução de aplicações distribuídas. A computação em Cloud pode ser definida como um modelo de aprovisionamento de recursos computacionais, virtualizados e sob demanda, oferecidos como um serviço. A computação em Cloud é descrita neste trabalho como um tipo de computação distribuída, a qual é comparada com a computação em Grade. São descritas caraterísticas próprias de um ambiente de Cloud, com uma proposta para a classificação e arquitetura geral desses ambientes. Adicionalmente, é proposta a implementação de um ambiente específico de Cloud, orientado a aplicações científicas. São descritos o funcionamento e arquitetura propostos para a implementação, indicando as considerações realizadas para a escolha e configuração dos componentes. O ambiente proposto é avaliado utilizando uma aplicação distribuída como estudo de caso e a disponibilização da aplicação no ambiente virtualizado avaliada em detalhe. Por fim, são realizados experimentos para avaliar o impacto do ambiente no desempenho da capacidade de processamento e comunicação, e discutidos trabalhos futuros.

Submitted by Maria Cristina (library@lncc.br) on 2015-10-08T18:10:26Z No. of bitstreams: 1 Thesis-Marizasref.pdf: 1838629 bytes, checksum: 81244e774352de8e5f009f3192c6d25e (MD5) / Approved for entry into archive by Maria Cristina (library@lncc.br) on 2015-10-08T18:10:39Z (GMT) No. of bitstreams: 1 Thesis-Marizasref.pdf: 1838629 bytes, checksum: 81244e774352de8e5f009f3192c6d25e (MD5) / Made available in DSpace on 2015-10-08T18:10:48Z (GMT). No. of bitstreams: 1 Thesis-Marizasref.pdf: 1838629 bytes, checksum: 81244e774352de8e5f009f3192c6d25e (MD5) Previous issue date: 2015-05-08 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / High Performance Distributed Computing is essential to improve scientific progress in many areas of science and to efficiently deploy a number of complex scientific applications. These applications have different characteristics that require distinct computational resources too. However, it is very difficult for many research groups to evaluate these HPDC infrastructures and arrive at the best configuration to run their scientific applications. Usually, optimal configurations are searched by executing one of the existing benchmark suites, widely used for performance evaluation. Benchmarks are good for comparisons between computational architectures, but they are not the best approach for evaluating if an architecture is adequate for a set of scientific applications. In this work we propose a systematic methodology for performance evaluation. The focus of our methodology begins on scientific application characteristics, and then considers how these characteristics interact with the problem size, with the programming language and finally with a specific computational architecture. The computational experiments and a case study developed highlight this model of evaluation and indicate that optimal performance can be found when we evaluate a combination of application class, program language, problem size and architecture model. / A Computação Massivamente Paralela e Distribuída é fundamental para alavancar o progresso científico em inúmeras áreas da ciência. Porém, cada domínio de investigação tem aplicações com diferentes requisitos computacionais, os quais dependem da definição adequada desses sistemas de alto desempenho para se obter a eficácia e eficiência na resolução dos seus problemas. Assim, o pesquisador se depara com decisões complexas sobre a escolha da melhor infraestrutura para a execução do seu conjunto de aplicações científicas. Além disso, os métodos tradicionais de avaliação de desempenho por meio da execução de benchmarks possuem inúmeras limitações. Com o objetivo de superar essas dificuldades e limitações é que este trabalho apresenta uma metodologia que orienta pesquisadores e técnicos na aquisição e manutenção de equipamentos de computação de alto desempenho, voltados aos requisitos das suas aplicações. Foram investigados os comportamentos e requisitos computacionais exigidos para diferentes aplicações e sua combinação com arquiteturas, modelos de programação, tamanhos de problema e as relações com o desempenho. O conhecimento obtido viabilizou o desenvolvimento da metodologia, que foi avaliada por meio de um estudo de caso, no qual suas contribuições foram mensuradas.

Made available in DSpace on 2016-03-22T17:26:24Z (GMT). No. of bitstreams: 1 Wagner Guimaraes Al-Alam.pdf: 2995290 bytes, checksum: 9902eafe02c0b5318a99f1e796dc399f (MD5) Previous issue date: 2010-01-15 / Companies working with bulk materials have appropriate locations for storage during the development of the production and storage of the final product, known as warehouses or storehouses. The values of stocks need to be periodically validated by comparing the control of receipts the and the physical situation (removal of the volume stored in the company). In this context, the calculation of physical inventory as the volume of bulk present in the warehouses is usually done manually with low credibility and prone to errors. The current audit procedures on the contents of warehouses involve inaccurate estimates, and often require emptying the warehouse. Considering the use of technologies which enable the electronic measurement of distances, angles, and automatic controls on actuators enabling mechanical movements on the supporting structures, we sought to develop a system capable of providing both computing solutions, and technology for the problem of calculation of irregular relief (products stocked in warehouses). The Automated Auditing Warehouse SisA3 intends to make this process automatic, fast and precise, without the need for emptying warehouses or having contact the products. To achieve this goal, we developed an integrated system composed of: (i) a scanner equipment, consoling the hybrid prototype of hardware and software called DigSisA3, in order to the measurement of points of relief non-uniform, formed by the products in stock, and (ii) a method for calculating the volume iCone, which combines techniques of scientific visualization, numerical interpolation points and iterative calculation of volume. The parallelization of the prototype iCone was also developed in order to satisfy the test of agility and performance of the method iCone in the audit process. The development for multiprocessor, multi-core, and distributed architectures was done over the DGM (Geometric Distributed Machine), which provides the formalities to ensure creation, management and application processing parallel and / or distributed scientific computing, with emphasis on the exploitation of data parallelism and synchronization steps. The prototype of software iCone was functionally validated, including analysis of error in the method. The analysis of performance in the prototype p-iCone showed satisfactory results. The development of this work strengthens the system SisA3, enabling automatic and reliable measurement of inventories, including broad market application / Empresas que trabalham com produtos a granel possuem locais para estocagem, durante o desenvolvimento do processo produtivo e no armazenamento do produto final, denominados armaz´ens ou silos. Os valores dos estoques devem ser validados periodicamente atrav´es da comparac¸ ao dos estoques fiscal (controle das notas fiscais) e f´ısico (levantamento do volume estocado na empresa). Neste contexto, o c´alculo do estoque f´ısico, ou seja, o volume de gran´eis presentes nos armaz´ens, ´e geralmente efetuado de forma manual e com baixa credibilidade, desta forma com propens ao a erros. Os atuais processos de auditoria no conte´udo de silos, al´em de envolverem estimativas inexatas, est ao frequentemente baseados no esvaziamento do silo. Considerando o uso de tecnologias que viabilizam a medic¸ ao eletr onica de dist ancias, angulos, e controles autom´aticos sobre atuadores que possibilitam movimentos mec anicos sobre estruturas de suporte, buscou-se o desenvolvimento de um sistema capaz de prover tanto soluc¸ oes computacionais, quanto tecnol´ogicas para o problema de c´alculo do volume de relevos irregulares, no caso dos produtos estocados nos armaz´ens. O Sistema Automatizado de Auditoria em Armaz´ens (SisA3) pretende tornar este processo autom´atico, r´apido e preciso, sem a necessidade de esvaziamento ou contato com os produtos. Para alcanc¸ar este objetivo, tem-se um sistema integrado composto de: (i) um equipamento digitalizador, consolidando o prot´otipo h´ıbrido de hardware e software denominado Dig-SisA3 , para a medic¸ ao de pontos do relevo n ao-uniforme, formado pelos produtos estocados; e (ii) m´etodo para o c´alculo do volume (iCone), que combina t´ecnicas de visualizac¸ ao cient´ıfica, interpolac¸ ao num´erica de pontos e c´alculo iterativo de volume. Al´em disto, introduz-se a paralelizac¸ ao do prot´otipo iCone, para diminuir o tempo da obtenc¸ ao dos resultados do m´etodo iCone no processo de auditoria. A an´alise sobre as perspectivas em arquiteturas multiprocessadas, multi-core e paralela distribu´ıda, utiliza o ambiente D-GM (Distributed Geometric Machine), a qual prov e os formalismos para garantir criac¸ ao, gerenciamento e processamento de aplicac¸ oes paralelas e/ou distribu´ıdas da computac¸ ao cient´ıfica, com enfase na explorac¸ ao do paralelismo de dados e nas etapas de sincronizac¸ oes. O prot´otipo de software iCone apresenta-se funcionalmente validado, incluindo an´alise de erro na execuc¸ ao do m´etodo. As an´alises de desempenho no prot´otipo p-iCone apresentaram resultados satisfat´orios. O desenvolvimento deste trabalho consolida o sistema SisA3, viabilizando aferic¸ ao autom´atica e confi´avel de estoques, incluindo ampla aplicac¸ ao no mercado

Submitted by Maria Cristina (library@lncc.br) on 2015-09-03T17:53:55Z No. of bitstreams: 1 Dissertacao_Daniel_Yokoyama.pdf: 3080551 bytes, checksum: fb4afe8fd7691c5976810b6e1418b97f (MD5) / Approved for entry into archive by Maria Cristina (library@lncc.br) on 2015-09-03T17:54:16Z (GMT) No. of bitstreams: 1 Dissertacao_Daniel_Yokoyama.pdf: 3080551 bytes, checksum: fb4afe8fd7691c5976810b6e1418b97f (MD5) / Made available in DSpace on 2015-09-03T17:54:48Z (GMT). No. of bitstreams: 1 Dissertacao_Daniel_Yokoyama.pdf: 3080551 bytes, checksum: fb4afe8fd7691c5976810b6e1418b97f (MD5) Previous issue date: 2015-06-22 / Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) / Confronted by the increase in demand for computing power to solve scientific applications, the need to purchase and maintain a computing infrastructure becomes a must and a hindrance to research institutions. In this backdrop, the technological race and the need to purchase equipment, the cloud computing paradigm focusing on scientific computing emerges as a tool to aid in the advancement of scientific works. The following text presents a private cloud platform focused on the creation and management of computational clusters for application in solving high-performance computing tasks, specifically highly parallelizable processes using MPI. In addition to the system description cluster computing clouds, the work presents a scheduling model of virtual machines based on the affinity of the applications running on the hosts. This allocation model aims to allow better use of the resources available to the platform, increasing the flow of tasks performed. / Mediante a crescente demanda por poder computacional para a resolução de aplicações científicas, a necessidade de aquisição e manutenção de uma infraestrutura computacional torna-se uma obrigação e um empecilho para as instituições de pesquisa. Perante este cenário, de corrida tecnológica e a necessidade de aquisição de equipamentos, o paradigma de computação em nuvem voltado para a computação científica surge como uma ferramenta para auxiliar no avanço dos trabalhos científicos. O texto a seguir apresenta uma plataforma de nuvem privada voltada à criação e gerência de clusters computacionais para a aplicação na resolução de tarefas de computação de alto desempenho, especificamente processos altamente paralelizáveis utilizando MPI . Além da descrição do sistema para clusters computacionais em nuvem, o trabalho segue para apresentar um modelo de escalonamento de máquinas virtuais baseado na afinidade das aplicações em execução nos hospedeiros. Este modelo de alocação busca permitir um melhor aproveitamento dos recursos disponíveis à plataforma, aumentando a vazão de tarefas executadas.

A necessidade de obter solução de grandes sistemas lineares resultantes de processos de discretização de equações diferenciais parciais provenientes da modelagem de diferentes fenômenos físicos conduz à busca de técnicas numéricas escaláveis. Métodos multigrid são classificados como algoritmos escaláveis.Um estimador de erros deve estar associado à solução numérica do problema discreto de modo a propiciar a adequada avaliação da solução obtida pelo processo de aproximação. Nesse contexto, a presente tese caracteriza-se pela proposta de reutilização das estruturas matriciais hierárquicas de operadores de transferência e restrição dos métodos multigrid algébricos para acelerar o tempo de solução dos sistemas lineares associados à equação do transporte de contaminantes em meio poroso saturado. Adicionalmente, caracteriza-se pela implementação das estimativas residuais para os problemas que envolvem dados constantes ou não constantes, os regimes de pequena ou grande advecção e pela proposta de utilização das estimativas residuais associadas ao termo de fonte e à condição inicial para construir procedimentos adaptativos para os dados do problema. O desenvolvimento dos códigos do método de elementos finitos, do estimador residual e dos procedimentos adaptativos foram baseados no projeto FEniCS, utilizando a linguagem de programação PYTHONR e desenvolvidos na plataforma Eclipse. A implementação dos métodos multigrid algébricos com reutilização considera a biblioteca PyAMG. Baseado na reutilização das estruturas hierárquicas, os métodos multigrid com reutilização com parâmetro fixo e automática são propostos, e esses conceitos são estendidos para os métodos iterativos não-estacionários tais como GMRES e BICGSTAB. Os resultados numéricos mostraram que o estimador residual captura o comportamento do erro real da solução numérica, e fornece algoritmos adaptativos para os dados cuja malha retornada produz uma solução numérica similar à uma malha uniforme com mais elementos. Adicionalmente, os métodos com reutilização são mais rápidos que os métodos que não empregam o processo de reutilização de estruturas. Além disso, a eficiência dos métodos com reutilização também pode ser observada na solução do problema auxiliar, o qual é necessário para obtenção das estimativas residuais para o regime de grande advecção. Esses resultados englobam tanto os métodos multigrid algébricos do tipo SA quanto os métodos pré-condicionados por métodos multigrid algébrico SA, e envolvem o transporte de contaminantes em regime de pequena e grande advecção, malhas estruturadas e não estruturadas, problemas bidimensionais, problemas tridimensionais e domínios com diferentes escalas. / The need for solving large linear systems arising from the discretization of partial differential equations modelling physical phenomena motivates the search for scalable numerical techniques. Multigrid algorithms are instances of such techniques.In order to provide a suitable assessment of the solution obtained by such algorithms, an error estimator must be associated to the numerical solution of the discretized problem. In this context, this thesis proposes the reutilization of the hierarchical matrix structures of transfer operators and the restriction to algebraic multigrid methods to speed up the process of solving the linear systems associated with the contaminant transport equation in saturated porous media. In addition, it features the implementation of residual estimates for problems involving constant or non-constant data, the regimes of small- or large-scale advection and the proposal of employing the residual estimates associated to the source term and to the initial condition to build adaptive procedures for the problem data. The development of the computer codes of the finite element method, residual estimator and adaptive procedures were based on the FEniCS project, using the programming language PYTHONR and developed on the Eclipse platform. The implementation of the algebraic methods with reutilization relied upon the libray PyAMG. Grounding on the idea of reutilizing the hierarchical structures, fixed and automatic parameters multigrid methods were proposed and extended to non-stationary iterative methods such as GMRES and BICGSTAB. The numerical results demonstrate that the residual estimator captures the behavior of the real error of the numerical solution, and provide adaptive algorithms for the data whose output mesh yields a numerical solution alike to that obtained from a uniform mesh with more elements. Moreover, the methods with reutilization are faster than those that do not reuse the structures. Besides, the efficiency of such methods can also be observed in the solution of an auxiliary problem, which is necessary for deriving the residual estimates in the regime of large-scale advection. These results encompass both the type SA algebraic multigrid method and those pre-conditioned by them. Moreover, they involve the transport of contaminants in regime of small- and large-scale advection, structured and non-structured meshes, bi- and tridimensional problems and domains with different scales.

A necessidade de obter solução de grandes sistemas lineares resultantes de processos de discretização de equações diferenciais parciais provenientes da modelagem de diferentes fenômenos físicos conduz à busca de técnicas numéricas escaláveis. Métodos multigrid são classificados como algoritmos escaláveis.Um estimador de erros deve estar associado à solução numérica do problema discreto de modo a propiciar a adequada avaliação da solução obtida pelo processo de aproximação. Nesse contexto, a presente tese caracteriza-se pela proposta de reutilização das estruturas matriciais hierárquicas de operadores de transferência e restrição dos métodos multigrid algébricos para acelerar o tempo de solução dos sistemas lineares associados à equação do transporte de contaminantes em meio poroso saturado. Adicionalmente, caracteriza-se pela implementação das estimativas residuais para os problemas que envolvem dados constantes ou não constantes, os regimes de pequena ou grande advecção e pela proposta de utilização das estimativas residuais associadas ao termo de fonte e à condição inicial para construir procedimentos adaptativos para os dados do problema. O desenvolvimento dos códigos do método de elementos finitos, do estimador residual e dos procedimentos adaptativos foram baseados no projeto FEniCS, utilizando a linguagem de programação PYTHONR e desenvolvidos na plataforma Eclipse. A implementação dos métodos multigrid algébricos com reutilização considera a biblioteca PyAMG. Baseado na reutilização das estruturas hierárquicas, os métodos multigrid com reutilização com parâmetro fixo e automática são propostos, e esses conceitos são estendidos para os métodos iterativos não-estacionários tais como GMRES e BICGSTAB. Os resultados numéricos mostraram que o estimador residual captura o comportamento do erro real da solução numérica, e fornece algoritmos adaptativos para os dados cuja malha retornada produz uma solução numérica similar à uma malha uniforme com mais elementos. Adicionalmente, os métodos com reutilização são mais rápidos que os métodos que não empregam o processo de reutilização de estruturas. Além disso, a eficiência dos métodos com reutilização também pode ser observada na solução do problema auxiliar, o qual é necessário para obtenção das estimativas residuais para o regime de grande advecção. Esses resultados englobam tanto os métodos multigrid algébricos do tipo SA quanto os métodos pré-condicionados por métodos multigrid algébrico SA, e envolvem o transporte de contaminantes em regime de pequena e grande advecção, malhas estruturadas e não estruturadas, problemas bidimensionais, problemas tridimensionais e domínios com diferentes escalas. / The need for solving large linear systems arising from the discretization of partial differential equations modelling physical phenomena motivates the search for scalable numerical techniques. Multigrid algorithms are instances of such techniques.In order to provide a suitable assessment of the solution obtained by such algorithms, an error estimator must be associated to the numerical solution of the discretized problem. In this context, this thesis proposes the reutilization of the hierarchical matrix structures of transfer operators and the restriction to algebraic multigrid methods to speed up the process of solving the linear systems associated with the contaminant transport equation in saturated porous media. In addition, it features the implementation of residual estimates for problems involving constant or non-constant data, the regimes of small- or large-scale advection and the proposal of employing the residual estimates associated to the source term and to the initial condition to build adaptive procedures for the problem data. The development of the computer codes of the finite element method, residual estimator and adaptive procedures were based on the FEniCS project, using the programming language PYTHONR and developed on the Eclipse platform. The implementation of the algebraic methods with reutilization relied upon the libray PyAMG. Grounding on the idea of reutilizing the hierarchical structures, fixed and automatic parameters multigrid methods were proposed and extended to non-stationary iterative methods such as GMRES and BICGSTAB. The numerical results demonstrate that the residual estimator captures the behavior of the real error of the numerical solution, and provide adaptive algorithms for the data whose output mesh yields a numerical solution alike to that obtained from a uniform mesh with more elements. Moreover, the methods with reutilization are faster than those that do not reuse the structures. Besides, the efficiency of such methods can also be observed in the solution of an auxiliary problem, which is necessary for deriving the residual estimates in the regime of large-scale advection. These results encompass both the type SA algebraic multigrid method and those pre-conditioned by them. Moreover, they involve the transport of contaminants in regime of small- and large-scale advection, structured and non-structured meshes, bi- and tridimensional problems and domains with different scales.