1 |
Etude de représentations parcimonieuses des statistiques d'erreur d'observation pour différentes métriques. Application à l'assimilation de données images / Study of sparse representations of statistical observation error for different metrics. Application to image data assimilationChabot, Vincent 11 July 2014 (has links)
Les dernières décennies ont vu croître en quantité et en qualité les données satellites. Au fil des ans, ces observations ont pris de plus en plus d'importance en prévision numérique du temps. Ces données sont aujourd'hui cruciales afin de déterminer de manière optimale l'état du système étudié, et ce, notamment car elles fournissent des informations denses et de qualité dansdes zones peu observées par les moyens conventionnels. Cependant, le potentiel de ces séquences d'images est encore largement sous–exploitée en assimilation de données : ces dernières sont sévèrement sous–échantillonnées, et ce, en partie afin de ne pas avoir à tenir compte des corrélations d'erreurs d'observation.Dans ce manuscrit nous abordons le problème d'extraction, à partir de séquences d'images satellites, d'information sur la dynamique du système durant le processus d'assimilation variationnelle de données. Cette étude est menée dans un cadre idéalisé afin de déterminer l'impact d'un bruit d'observations et/ou d'occultations sur l'analyse effectuée.Lorsque le bruit est corrélé en espace, tenir compte des corrélations en analysant les images au niveau du pixel n'est pas chose aisée : il est nécessaire d'inverser la matrice de covariance d'erreur d'observation (qui se révèle être une matrice de grande taille) ou de faire des approximationsaisément inversibles de cette dernière. En changeant d'espace d'analyse, la prise en compte d'une partie des corrélations peut être rendue plus aisée. Dans ces travaux, nous proposons d'effectuer cette analyse dans des bases d'ondelettes ou des trames de curvelettes. En effet, un bruit corréléen espace n'impacte pas de la même manière les différents éléments composants ces familles. En travaillant dans ces espaces, il est alors plus aisé de tenir compte d'une partie des corrélations présentes au sein du champ d'erreur. La pertinence de l'approche proposée est présentée sur différents cas tests.Lorsque les données sont partiellement occultées, il est cependant nécessaire de savoir comment adapter la représentation des corrélations. Ceci n'est pas chose aisée : travailler avec un espace d'observation changeant au cours du temps rend difficile l'utilisation d'approximations aisément inversibles de la matrice de covariance d'erreur d'observation. Dans ces travaux uneméthode permettant d'adapter, à moindre coût, la représentations des corrélations (dans des bases d'ondelettes) aux données présentes dans chaque image est proposée. L'intérêt de cette approche est présenté dans un cas idéalisé. / Recent decades have seen an increase in quantity and quality of satellite observations . Over the years , those observations has become increasingly important in numerical weather forecasting. Nowadays, these datas are crucial in order to determine optimally the state of the studied system. In particular, satellites can provide dense observations in areas poorly observed by conventionnal networks. However, the potential of such observations is clearly under--used in data assimilation : in order to avoid the management of observation errors, thinning methods are employed in association to variance inflation.In this thesis, we adress the problem of extracting information on the system dynamic from satellites images data during the variationnal assimilation process. This study is carried out in an academic context in order to quantify the influence of observation noise and of clouds on the performed analysis.When the noise is spatially correlated, it is hard to take into account such correlations by working in the pixel space. Indeed, it is necessary to invert the observation error covariance matrix (which turns out to be very huge) or make an approximation easily invertible of such a matrix. Analysing the information in an other space can make the job easier. In this manuscript, we propose to perform the analysis step in a wavelet basis or a curvelet frame. Indeed, in those structured spaces, a correlated noise does not affect in the same way the differents structures. It is then easier to take into account part of errors correlations : a suitable approximation of the covariance matrix is made by considering only how each kind of element is affected by a correlated noise. The benefit of this approach is demonstrated on different academic tests cases.However, when some data are missing one has to address the problem of adapting the way correlations are taken into account. This work is not an easy one : working in a different observation space for each image makes the use of easily invertible approximate covariance matrix very tricky. In this work a way to adapt the diagonal hypothesis of the covariance matrix in a wavelet basis, in order to take into account that images are partially hidden, is proposed. The interest of such an approach is presented in an idealised case.
|
2 |
Assimilation des observations satellitaires de l'interféromètre atmosphérique de sondage infrarouge (IASI) dans un modèle de chimie-transport pour des réanalyses d'ozone à l'échelle globale / Satellites data assimilation of the infrared atmospheric sounding interferometer (IASI) in a chemistry transport model for ozone reanalyses at global scalePeiro, Hélène 12 January 2018 (has links)
L'impact sur le climat et sur la qualité de l'air des gaz émis par les activités humaines a de fortes retombées sociales et économiques. L'ozone (O3) troposphérique est produit à partir des polluants primaires comme les oxydes d'azote. Il est le troisième gaz par importance dans l'effet de serre après le dioxyde de carbone et le méthane, et il est l'un des polluants principaux pour ses effets oxydants sur les tissus organiques. Pour répondre au besoin de mesure continue de la concentration d'O3 plusieurs satellites emportent des sondeurs capables de mesurer leur signal dans les domaines ultra-violet, visible ou infrarouge du rayonnement terrestre. Le CNES développe notamment le sondeur infrarouge IASI à bord des satellites météorologiques polaires METOP. IASI, en orbite depuis de nombreuses années, permet d'estimer la concentration de certains gaz atmosphériques, notamment l'O3, avec une couverture spatio-temporelle jamais atteinte jusqu'à présent. Chaque jour IASI mesure le spectre infrarouge de l'atmosphère entre 650 et 2700 nm avec une résolution horizontale de 12 km, ce qui fait un volume de données géolocalisées de plusieurs dizaines de gigaoctets par jour. Ces observations constituent un jeu de données idéal pour la validation des modèles de chimie-transport (CTM) à la base des systèmes de surveillance et de prévision de la qualité de l'air. Ces modèles peuvent prendre en compte les observations satellitaires par une procédure mathématique appelée 'assimilation de données'. Cette technique permet de compléter l'information parfois parcellaire des satellites (par exemple à cause de la présence des nuages ou durant la nuit pour les capteurs UV-visible) et d'obtenir des champs 3D globaux des concentrations de certaines espèces chimiques avec une fréquence horaire. Dans ce contexte, il est très important de développer des algorithmes fiables et efficaces pour assimiler les données IASI dans les CTM. A cette fin, l'UMR/CECI (CERFACS) développe en collaboration avec le CNRM/Météo-France un outil d'assimilation (VALENTINA) pour le CTM MOCAGE ayant des applications à l'échelle globale ou régionale pour l'étude du climat ou de la qualité de l'air, notamment dans le cadre du projet européen Copernicus sur la composition de l'atmosphère (CAMS). Il collabore également avec le Laboratoire d'Aérologie, qui développe depuis plusieurs années l'algorithme SOFRID de restitution des profils verticaux d' O3 IASI basé sur le code de transfert radiatif RTTOV. Le travail de cette thèse concerne la mise au point et la production d'analyses d' O3 troposphérique tridimensionnelles par l'assimilation d'observations satellitaires (MLS, IASI) dans le CTM MOCAGE. L'objectif principal est de constituer une nouvelle base de données pour l'étude de la variabilité de l'ozone de l'échelle journalière à celle décennale. On démontre ainsi la capacité des analyses utilisant les données IASI à reproduire la réponse de l' O3 troposphérique à l'ENSO (El Niño Southern Oscillation) aux basses latitudes, apportant notamment des informations nouvelles sur la distribution verticale des anomalies associées. Une large part de ce travail a de plus consisté à analyser les biais entre les analyses et les données de sondages indépendantes. Une des raisons expliquant ces biais pourrait être l'utilisation d'a-priori et de covariances d'erreurs climatologiques fortement biaisés (notamment au niveau de la tropopause) dans la procédure d'inversion des produits d' O3 de IASI. Une seconde partie de la thèse a donc consisté à mettre en place une méthode permettant de prescrire des a-priori plus proches des situations réelles améliorant ainsi les profils d' O3 restitués. En conclusion cette thèse constitue une avancée significative vers l'amélioration des produits d' O3 troposphérique issus de l'instrument IASI, permettant d'envisager un suivi à long terme que le caractère opérationnel des satellites METOP facilitera. / Human activity produces gases impacting the climate and the air quality with important economic and social consequences. Tropospheric ozone (O3) is created by chemical reactions from primary pollutants as nitrogen oxides. O3 is the third most important greenhouse gas after carbon dioxide and methane. It is one of the most important pollutants due to its oxidant effects on biological tissue. Several sensors on board satellites measure ozone concentration in the Ultraviolet, visible, or in the Earth infrared radiance. The French national center for space studies CNES (Centre National d'Etudes Spatiales) has developed the infrared sounding IASI on board polar meteorological satellites METOP. IASI, in orbit for several years, has allowed to estimate concentration of atmospheric gases, particularly O3, with a spatio-temporal coverage never reached so far. Every day, IASI measures infrared spectrum of the atmosphere between 650 to 2700 nm with an horizontal resolution of 12 km, giving tens of Gigaoctet per day of geolocated data. These observations form a part of an ideal set of data for the Chemistry Transport Model (CTM). CTM are used to analyze and predict air quality and can take into account satellite data according to a mathematical procedure called 'data assimilation'. This technic allows to fill gaps in the satellite information (for instance due to clouds or during night for the UV-visible sensor) and to obtain 3D global fields of chemical species concentration on an hourly basis. Therefore, it is important to develop accurate and efficient algorithms to assimilate IASI data in the CTM's. To this end, the UMR/CECI (CERFACS) develops in collaboration with the CNRM/Météo-France an assimilation tool (named VALENTINA) to the CTM MOCAGE that has applications on global and regional scales for climate or air quality study. The CTM MOCAGE is part of the European Copernicus project on the atmospheric composition (CAMS). In addition, the UMR/CECI collaborates with the Laboratoire d'Aérologie that has developed for several years the SOFRID algorithm for the vertical profiles retrieval of IASI ozone data based on the radiative transfer code RTTOV. The study of this PhD includes the tridimensional production of tropospheric ozone analysis with data assimilation (MLS, IASI) in the CTM MOCAGE, and on the ozone variability. Hence, we demonstrate the analysis ability to reproduce tropospheric ozone in response to ENSO, by bringing new informations on the vertical structure of associated anomalies. The PhD also focuses on the study of biases between analyses and independent ozone soundings. One of the main reasons could be due to the use of the climatological a-priori and matrix error covariance associated, strongly biased (particularly around the tropopause) in the retrieval method of IASI ozone data. Therefore, the second part of the PhD has consisted implementation of a method that generates accurate a-priori to improve retrieved ozone profiles. As a conclusion, this PhD brings a significant progress towards the improvement of tropospheric ozone products from IASI instrument, that should contribute to the long-term monitoring of tropospheric ozone thanks to the operational nature of METOP satellites.
|
3 |
Formalisation et automatisation de YAO, générateur de code pour l’assimilation variationnelle de donnéesNardi, Luigi 08 March 2011 (has links)
L’assimilation variationnelle de données 4D-Var est une technique très utilisée en géophysique, notamment en météorologie et océanographie. Elle consiste à estimer des paramètres d’un modèle numérique direct, en minimisant une fonction de coût mesurant l’écart entre les sorties du modèle et les mesures observées. La minimisation, qui est basée sur une méthode de gradient, nécessite le calcul du modèle adjoint (produit de la transposée de la matrice jacobienne avec le vecteur dérivé de la fonction de coût aux points d’observation). Lors de la mise en œuvre de l’AD 4D-Var, il faut faire face à des problèmes d’implémentation informatique complexes, notamment concernant le modèle adjoint, la parallélisation du code et la gestion efficace de la mémoire. Afin d’aider au développement d’applications d’AD 4D-Var, le logiciel YAO qui a été développé au LOCEAN, propose de modéliser le modèle direct sous la forme d’un graphe de flot de calcul appelé graphe modulaire. Les modules représentent des unités de calcul et les arcs décrivent les transferts des données entre ces modules. YAO est doté de directives de description qui permettent à un utilisateur de décrire son modèle direct, ce qui lui permet de générer ensuite le graphe modulaire associé à ce modèle. Deux algorithmes, le premier de type propagation sur le graphe et le second de type rétropropagation sur le graphe permettent, respectivement, de calculer les sorties du modèle direct ainsi que celles de son modèle adjoint. YAO génère alors le code du modèle direct et de son adjoint. En plus, il permet d’implémenter divers scénarios pour la mise en œuvre de sessions d’assimilation.Au cours de cette thèse, un travail de recherche en informatique a été entrepris dans le cadre du logiciel YAO. Nous avons d’abord formalisé d’une manière plus générale les spécifications deYAO. Par la suite, des algorithmes permettant l’automatisation de certaines tâches importantes ont été proposés tels que la génération automatique d’un parcours “optimal” de l’ordre des calculs et la parallélisation automatique en mémoire partagée du code généré en utilisant des directives OpenMP. L’objectif à moyen terme, des résultats de cette thèse, est d’établir les bases permettant de faire évoluer YAO vers une plateforme générale et opérationnelle pour l’assimilation de données 4D-Var, capable de traiter des applications réelles et de grandes tailles. / Variational data assimilation 4D-Var is a well-known technique used in geophysics, and in particular in meteorology and oceanography. This technique consists in estimating the control parameters of a direct numerical model, by minimizing a cost function which measures the misfit between the forecast values and some actual observations. The minimization, which is based on a gradient method, requires the computation of the adjoint model (product of the transpose Jacobian matrix and the derivative vector of the cost function at the observation points). In order to perform the 4DVar technique, we have to cope with complex program implementations, in particular concerning the adjoint model, the parallelization of the code and an efficient memory management. To address these difficulties and to facilitate the implementation of 4D-Var applications, LOCEAN is developing the YAO framework. YAO proposes to represent a direct model with a computation flow graph called modular graph. Modules depict computation units and edges between modules represent data transfer. Description directives proper to YAO allow a user to describe its direct model and to generate the modular graph associated to this model. YAO contains two core algorithms. The first one is a forward propagation algorithm on the graph that computes the output of the numerical model; the second one is a back propagation algorithm on the graph that computes the adjoint model. The main advantage of the YAO framework, is that the direct and adjoint model programming codes are automatically generated once the modular graph has been conceived by the user. Moreover, YAO allows to cope with many scenarios for running different data assimilation sessions.This thesis introduces a computer science research on the YAO framework. In a first step, we have formalized in a more general way the existing YAO specifications. Then algorithms allowing the automatization of some tasks have been proposed such as the automatic generation of an “optimal” computational ordering and the automatic parallelization of the generated code on shared memory architectures using OpenMP directives. This thesis permits to lay the foundations which, at medium term, will make of YAO a general and operational platform for data assimilation 4D-Var, allowing to process applications of high dimensions.
|
4 |
Formalisation et automatisation de YAO, générateur de code pour l’assimilation variationnelle de données / Formalisation and automation of YAO, code generator for variational data assimilationNardi, Luigi 08 March 2011 (has links)
L’assimilation variationnelle de données 4D-Var est une technique très utilisée en géophysique, notamment en météorologie et océanographie. Elle consiste à estimer des paramètres d’un modèle numérique direct, en minimisant une fonction de coût mesurant l’écart entre les sorties du modèle et les mesures observées. La minimisation, qui est basée sur une méthode de gradient, nécessite le calcul du modèle adjoint (produit de la transposée de la matrice jacobienne avec le vecteur dérivé de la fonction de coût aux points d’observation). Lors de la mise en œuvre de l’AD 4D-Var, il faut faire face à des problèmes d’implémentation informatique complexes, notamment concernant le modèle adjoint, la parallélisation du code et la gestion efficace de la mémoire. Afin d’aider au développement d’applications d’AD 4D-Var, le logiciel YAO qui a été développé au LOCEAN, propose de modéliser le modèle direct sous la forme d’un graphe de flot de calcul appelé graphe modulaire. Les modules représentent des unités de calcul et les arcs décrivent les transferts des données entre ces modules. YAO est doté de directives de description qui permettent à un utilisateur de décrire son modèle direct, ce qui lui permet de générer ensuite le graphe modulaire associé à ce modèle. Deux algorithmes, le premier de type propagation sur le graphe et le second de type rétropropagation sur le graphe permettent, respectivement, de calculer les sorties du modèle direct ainsi que celles de son modèle adjoint. YAO génère alors le code du modèle direct et de son adjoint. En plus, il permet d’implémenter divers scénarios pour la mise en œuvre de sessions d’assimilation.Au cours de cette thèse, un travail de recherche en informatique a été entrepris dans le cadre du logiciel YAO. Nous avons d’abord formalisé d’une manière plus générale les spécifications deYAO. Par la suite, des algorithmes permettant l’automatisation de certaines tâches importantes ont été proposés tels que la génération automatique d’un parcours “optimal” de l’ordre des calculs et la parallélisation automatique en mémoire partagée du code généré en utilisant des directives OpenMP. L’objectif à moyen terme, des résultats de cette thèse, est d’établir les bases permettant de faire évoluer YAO vers une plateforme générale et opérationnelle pour l’assimilation de données 4D-Var, capable de traiter des applications réelles et de grandes tailles. / Variational data assimilation 4D-Var is a well-known technique used in geophysics, and in particular in meteorology and oceanography. This technique consists in estimating the control parameters of a direct numerical model, by minimizing a cost function which measures the misfit between the forecast values and some actual observations. The minimization, which is based on a gradient method, requires the computation of the adjoint model (product of the transpose Jacobian matrix and the derivative vector of the cost function at the observation points). In order to perform the 4DVar technique, we have to cope with complex program implementations, in particular concerning the adjoint model, the parallelization of the code and an efficient memory management. To address these difficulties and to facilitate the implementation of 4D-Var applications, LOCEAN is developing the YAO framework. YAO proposes to represent a direct model with a computation flow graph called modular graph. Modules depict computation units and edges between modules represent data transfer. Description directives proper to YAO allow a user to describe its direct model and to generate the modular graph associated to this model. YAO contains two core algorithms. The first one is a forward propagation algorithm on the graph that computes the output of the numerical model; the second one is a back propagation algorithm on the graph that computes the adjoint model. The main advantage of the YAO framework, is that the direct and adjoint model programming codes are automatically generated once the modular graph has been conceived by the user. Moreover, YAO allows to cope with many scenarios for running different data assimilation sessions.This thesis introduces a computer science research on the YAO framework. In a first step, we have formalized in a more general way the existing YAO specifications. Then algorithms allowing the automatization of some tasks have been proposed such as the automatic generation of an “optimal” computational ordering and the automatic parallelization of the generated code on shared memory architectures using OpenMP directives. This thesis permits to lay the foundations which, at medium term, will make of YAO a general and operational platform for data assimilation 4D-Var, allowing to process applications of high dimensions.
|
5 |
Applications des méthodes multigrilles à l'assimilation de données en géophysique / Multigrid methods applied to data assimilation for geophysics modelsNeveu, Emilie 31 March 2011 (has links)
Depuis ces trente dernières années, les systèmes d'observation de la Terre et les modèles numériques se sont perfectionnés et complexifiés pour nous fournir toujours plus de données, réelles et numériques. Ces données, de nature très diverse, forment maintenant un ensemble conséquent d'informations précises mais hétérogènes sur les structures et la dynamique des fluides géophysiques. Dans les années 1980, des méthodes d'optimisation, capables de combiner les informations entre elles, ont permis d'estimer les paramètres des modèles numériques et d'obtenir une meilleure prévision des courants marins et atmosphériques. Ces méthodes puissantes, appelées assimilation variationnelle de données, peinent à tirer profit de la toujours plus grande complexité des informations de par le manque de puissance de calcul disponible. L'approche, que nous développons, s'intéresse à l'utilisation des méthodes multigrilles, jusque là réservées à la résolution de systèmes d'équations différentielles, pour résoudre l'assimilation haute résolution de données. Les méthodes multigrilles sont des méthodes de résolution itératives, améliorées par des corrections calculées sur des grilles de plus basses résolutions. Nous commençons par étudier dans le cas d'un modèle linéaire la robustesse de l'approche multigrille et en particulier l'effet de la correction par grille grossière. Nous dérivons ensuite les algorithmes multigrilles dans le cadre non linéaire. Les deux types d'algorithmes étudiés reposent d'une part sur la méthode de Gauss Newton multigrille et d'autre part sur une méthode sans linéarisation globale : le Full Approximation Scheme (FAS). Ceux-ci sont appliqués au problème de l'assimilation variationnelle de données dans le cadre d'une équation de Burgers 1D puis d'un modèle Shallow-water 2D. Leur comportement est analysé et comparé aux méthodes plus traditionnelles de type incrémentale ou multi-incrémentale. / For these last thirty years, earth observation and numerical models improved greatly and provide now a huge amount of accurate, yet heterogeneous, information on geophysics fluids dynamics and structures. Optimization methods from the eighties called variational data assimilation are capable of merging information from different sources. They have been used to estimate the parameters of numerical models and better forecast oceanic and atmospheric flows. Unfortunately, these powerful methods have trouble making benefit of always more complex information, suffering from the lack of available powerful calculators. The approach developed here, focuses on the use of multigrid methods, that are commonly used in the context of differential equations systems, to solve high resolution data assimilation. Multigrid methods are iterative methods improved by the use of feedback corrections evaluated on coarse resolution. First in the case of linear assimilation, we study the robustness of multigrid approach and the efficiency of the coarse grid correction step. We then apply the multigrid algorithms on a non linear 1-D Burgers equation and on a 2-D Shallow-Water model. We study two types of algorithms, the Gauss Newton Multigrid, which lays on global linearization, and the Full Approximation Scheme. Their behavior is compared to more traditional approaches as incremental and multi-incremental ones.
|
6 |
Méthodes numériques pour les problèmes des moindres carrés, avec application à l'assimilation de données / Numerical methods for least squares problems with application to data assimilationBergou, El Houcine 11 December 2014 (has links)
L'algorithme de Levenberg-Marquardt (LM) est parmi les algorithmes les plus populaires pour la résolution des problèmes des moindres carrés non linéaire. Motivés par la structure des problèmes de l'assimilation de données, nous considérons dans cette thèse l'extension de l'algorithme LM aux situations dans lesquelles le sous problème linéarisé, qui a la forme min||Ax - b ||^2, est résolu de façon approximative, et/ou les données sont bruitées et ne sont précises qu'avec une certaine probabilité. Sous des hypothèses appropriées, on montre que le nouvel algorithme converge presque sûrement vers un point stationnaire du premier ordre. Notre approche est appliquée à une instance dans l'assimilation de données variationnelles où les modèles stochastiques du gradient sont calculés par le lisseur de Kalman d'ensemble (EnKS). On montre la convergence dans L^p de l'EnKS vers le lisseur de Kalman, quand la taille de l'ensemble tend vers l'infini. On montre aussi la convergence de l'approche LM-EnKS, qui est une variante de l'algorithme de LM avec l'EnKS utilisé comme solveur linéaire, vers l'algorithme classique de LM ou le sous problème est résolu de façon exacte. La sensibilité de la méthode de décomposition en valeurs singulières tronquée est étudiée. Nous formulons une expression explicite pour le conditionnement de la solution des moindres carrés tronqués. Cette expression est donnée en termes de valeurs singulières de A et les coefficients de Fourier de b. / The Levenberg-Marquardt algorithm (LM) is one of the most popular algorithms for the solution of nonlinear least squares problems. Motivated by the problem structure in data assimilation, we consider in this thesis the extension of the LM algorithm to the scenarios where the linearized least squares subproblems, of the form min||Ax - b ||^2, are solved inexactly and/or the gradient model is noisy and accurate only within a certain probability. Under appropriate assumptions, we show that the modified algorithm converges globally and almost surely to a first order stationary point. Our approach is applied to an instance in variational data assimilation where stochastic models of the gradient are computed by the so-called ensemble Kalman smoother (EnKS). A convergence proof in L^p of EnKS in the limit for large ensembles to the Kalman smoother is given. We also show the convergence of LM-EnKS approach, which is a variant of the LM algorithm with EnKS as a linear solver, to the classical LM algorithm where the linearized subproblem is solved exactly. The sensitivity of the trucated sigular value decomposition method to solve the linearized subprobems is studied. We formulate an explicit expression for the condition number of the truncated least squares solution. This expression is given in terms of the singular values of A and the Fourier coefficients of b.
|
Page generated in 0.1745 seconds