The development of adaptive mesh refinement capabilities in the field of computational fluid dynamics is an essential tool for enabling the simulation of larger and more complex physical problems. While such techniques have been known for a long time, most simulations do not make use of them because of the lack of a robust implementation. In this work, we present recent progresses that have been made to develop adaptive mesh refinement features in Nek5000, a code based on the spectral element method. These developments are driven by the algorithmic challenges posed by future exascale supercomputers. First, we perform the study of the strong scaling of Nek5000 on three petascale machines in order to assess the scalability of the code and identify the current bottlenecks. It is found that strong scaling limit ranges between 5, 000 and 220, 000 degrees of freedom per core depending on the machine and the case. The need for synchronized and low latency communication for efficient computational fluid dynamics simulation is also confirmed. Additionally, we present how Hypre, a library for linear algebra, is used to develop a new and efficient code for performing the setup step required prior to the use of an algebraic multigrid solver for preconditioning the pressure equation in Nek5000. Finally, the main objective of this work is to develop new methods for estimating the error on a numerical solution of the Navier–Stokes equations via the resolution of an adjoint problem. These new estimators are compared to existing ones, which are based on the decay of the spectral coefficients. Then, the estimators are combined with newly implemented capabilities in Nek5000 for automatic grid refinement and adaptive mesh adaptation is carried out. The applications considered so far are steady and two-dimensional, namely the lid-driven cavity at Re = 7, 500 and the flow past a cylinder at Re = 40. The use of adaptive mesh refinement techniques makes mesh generation easier and it is shown that a similar accuracy as with a static mesh can be reached with a significant reduction in the number of degrees of freedom. / <p>QC 20171114</p>

A necessidade de obter solução de grandes sistemas lineares resultantes de processos de discretização de equações diferenciais parciais provenientes da modelagem de diferentes fenômenos físicos conduz à busca de técnicas numéricas escaláveis. Métodos multigrid são classificados como algoritmos escaláveis.Um estimador de erros deve estar associado à solução numérica do problema discreto de modo a propiciar a adequada avaliação da solução obtida pelo processo de aproximação. Nesse contexto, a presente tese caracteriza-se pela proposta de reutilização das estruturas matriciais hierárquicas de operadores de transferência e restrição dos métodos multigrid algébricos para acelerar o tempo de solução dos sistemas lineares associados à equação do transporte de contaminantes em meio poroso saturado. Adicionalmente, caracteriza-se pela implementação das estimativas residuais para os problemas que envolvem dados constantes ou não constantes, os regimes de pequena ou grande advecção e pela proposta de utilização das estimativas residuais associadas ao termo de fonte e à condição inicial para construir procedimentos adaptativos para os dados do problema. O desenvolvimento dos códigos do método de elementos finitos, do estimador residual e dos procedimentos adaptativos foram baseados no projeto FEniCS, utilizando a linguagem de programação PYTHONR e desenvolvidos na plataforma Eclipse. A implementação dos métodos multigrid algébricos com reutilização considera a biblioteca PyAMG. Baseado na reutilização das estruturas hierárquicas, os métodos multigrid com reutilização com parâmetro fixo e automática são propostos, e esses conceitos são estendidos para os métodos iterativos não-estacionários tais como GMRES e BICGSTAB. Os resultados numéricos mostraram que o estimador residual captura o comportamento do erro real da solução numérica, e fornece algoritmos adaptativos para os dados cuja malha retornada produz uma solução numérica similar à uma malha uniforme com mais elementos. Adicionalmente, os métodos com reutilização são mais rápidos que os métodos que não empregam o processo de reutilização de estruturas. Além disso, a eficiência dos métodos com reutilização também pode ser observada na solução do problema auxiliar, o qual é necessário para obtenção das estimativas residuais para o regime de grande advecção. Esses resultados englobam tanto os métodos multigrid algébricos do tipo SA quanto os métodos pré-condicionados por métodos multigrid algébrico SA, e envolvem o transporte de contaminantes em regime de pequena e grande advecção, malhas estruturadas e não estruturadas, problemas bidimensionais, problemas tridimensionais e domínios com diferentes escalas. / The need for solving large linear systems arising from the discretization of partial differential equations modelling physical phenomena motivates the search for scalable numerical techniques. Multigrid algorithms are instances of such techniques.In order to provide a suitable assessment of the solution obtained by such algorithms, an error estimator must be associated to the numerical solution of the discretized problem. In this context, this thesis proposes the reutilization of the hierarchical matrix structures of transfer operators and the restriction to algebraic multigrid methods to speed up the process of solving the linear systems associated with the contaminant transport equation in saturated porous media. In addition, it features the implementation of residual estimates for problems involving constant or non-constant data, the regimes of small- or large-scale advection and the proposal of employing the residual estimates associated to the source term and to the initial condition to build adaptive procedures for the problem data. The development of the computer codes of the finite element method, residual estimator and adaptive procedures were based on the FEniCS project, using the programming language PYTHONR and developed on the Eclipse platform. The implementation of the algebraic methods with reutilization relied upon the libray PyAMG. Grounding on the idea of reutilizing the hierarchical structures, fixed and automatic parameters multigrid methods were proposed and extended to non-stationary iterative methods such as GMRES and BICGSTAB. The numerical results demonstrate that the residual estimator captures the behavior of the real error of the numerical solution, and provide adaptive algorithms for the data whose output mesh yields a numerical solution alike to that obtained from a uniform mesh with more elements. Moreover, the methods with reutilization are faster than those that do not reuse the structures. Besides, the efficiency of such methods can also be observed in the solution of an auxiliary problem, which is necessary for deriving the residual estimates in the regime of large-scale advection. These results encompass both the type SA algebraic multigrid method and those pre-conditioned by them. Moreover, they involve the transport of contaminants in regime of small- and large-scale advection, structured and non-structured meshes, bi- and tridimensional problems and domains with different scales.

A necessidade de obter solução de grandes sistemas lineares resultantes de processos de discretização de equações diferenciais parciais provenientes da modelagem de diferentes fenômenos físicos conduz à busca de técnicas numéricas escaláveis. Métodos multigrid são classificados como algoritmos escaláveis.Um estimador de erros deve estar associado à solução numérica do problema discreto de modo a propiciar a adequada avaliação da solução obtida pelo processo de aproximação. Nesse contexto, a presente tese caracteriza-se pela proposta de reutilização das estruturas matriciais hierárquicas de operadores de transferência e restrição dos métodos multigrid algébricos para acelerar o tempo de solução dos sistemas lineares associados à equação do transporte de contaminantes em meio poroso saturado. Adicionalmente, caracteriza-se pela implementação das estimativas residuais para os problemas que envolvem dados constantes ou não constantes, os regimes de pequena ou grande advecção e pela proposta de utilização das estimativas residuais associadas ao termo de fonte e à condição inicial para construir procedimentos adaptativos para os dados do problema. O desenvolvimento dos códigos do método de elementos finitos, do estimador residual e dos procedimentos adaptativos foram baseados no projeto FEniCS, utilizando a linguagem de programação PYTHONR e desenvolvidos na plataforma Eclipse. A implementação dos métodos multigrid algébricos com reutilização considera a biblioteca PyAMG. Baseado na reutilização das estruturas hierárquicas, os métodos multigrid com reutilização com parâmetro fixo e automática são propostos, e esses conceitos são estendidos para os métodos iterativos não-estacionários tais como GMRES e BICGSTAB. Os resultados numéricos mostraram que o estimador residual captura o comportamento do erro real da solução numérica, e fornece algoritmos adaptativos para os dados cuja malha retornada produz uma solução numérica similar à uma malha uniforme com mais elementos. Adicionalmente, os métodos com reutilização são mais rápidos que os métodos que não empregam o processo de reutilização de estruturas. Além disso, a eficiência dos métodos com reutilização também pode ser observada na solução do problema auxiliar, o qual é necessário para obtenção das estimativas residuais para o regime de grande advecção. Esses resultados englobam tanto os métodos multigrid algébricos do tipo SA quanto os métodos pré-condicionados por métodos multigrid algébrico SA, e envolvem o transporte de contaminantes em regime de pequena e grande advecção, malhas estruturadas e não estruturadas, problemas bidimensionais, problemas tridimensionais e domínios com diferentes escalas. / The need for solving large linear systems arising from the discretization of partial differential equations modelling physical phenomena motivates the search for scalable numerical techniques. Multigrid algorithms are instances of such techniques.In order to provide a suitable assessment of the solution obtained by such algorithms, an error estimator must be associated to the numerical solution of the discretized problem. In this context, this thesis proposes the reutilization of the hierarchical matrix structures of transfer operators and the restriction to algebraic multigrid methods to speed up the process of solving the linear systems associated with the contaminant transport equation in saturated porous media. In addition, it features the implementation of residual estimates for problems involving constant or non-constant data, the regimes of small- or large-scale advection and the proposal of employing the residual estimates associated to the source term and to the initial condition to build adaptive procedures for the problem data. The development of the computer codes of the finite element method, residual estimator and adaptive procedures were based on the FEniCS project, using the programming language PYTHONR and developed on the Eclipse platform. The implementation of the algebraic methods with reutilization relied upon the libray PyAMG. Grounding on the idea of reutilizing the hierarchical structures, fixed and automatic parameters multigrid methods were proposed and extended to non-stationary iterative methods such as GMRES and BICGSTAB. The numerical results demonstrate that the residual estimator captures the behavior of the real error of the numerical solution, and provide adaptive algorithms for the data whose output mesh yields a numerical solution alike to that obtained from a uniform mesh with more elements. Moreover, the methods with reutilization are faster than those that do not reuse the structures. Besides, the efficiency of such methods can also be observed in the solution of an auxiliary problem, which is necessary for deriving the residual estimates in the regime of large-scale advection. These results encompass both the type SA algebraic multigrid method and those pre-conditioned by them. Moreover, they involve the transport of contaminants in regime of small- and large-scale advection, structured and non-structured meshes, bi- and tridimensional problems and domains with different scales.