Spelling suggestions: "subject:"climatologie""
31 |
Physics-based Machine Learning Approaches to Complex Systems and Climate AnalysisGelbrecht, Maximilian 20 July 2021 (has links)
Komplexe Systeme wie das Klima der Erde bestehen aus vielen Komponenten, die durch eine komplizierte Kopplungsstruktur miteinander verbunden sind. Für die Analyse solcher Systeme erscheint es daher naheliegend, Methoden aus der Netzwerktheorie, der Theorie dynamischer Systeme und dem maschinellen Lernen zusammenzubringen. Durch die Kombination verschiedener Konzepte aus diesen Bereichen werden in dieser Arbeit drei neuartige Ansätze zur Untersuchung komplexer Systeme betrachtet.
Im ersten Teil wird eine Methode zur Konstruktion komplexer Netzwerke vorgestellt, die in der Lage ist, Windpfade des südamerikanischen Monsunsystems zu identifizieren. Diese Analyse weist u.a. auf den Einfluss der Rossby-Wellenzüge auf das Monsunsystem hin. Dies wird weiter untersucht, indem gezeigt wird, dass der Niederschlag mit den Rossby-Wellen phasenkohärent ist. So zeigt der erste Teil dieser Arbeit, wie komplexe Netzwerke verwendet werden können, um räumlich-zeitliche Variabilitätsmuster zu identifizieren, die dann mit Methoden der nichtlinearen Dynamik weiter analysiert werden können.
Die meisten komplexen Systeme weisen eine große Anzahl von möglichen asymptotischen Zuständen auf. Um solche Zustände zu beschreiben, wird im zweiten Teil die Monte Carlo Basin Bifurcation Analyse (MCBB), eine neuartige numerische Methode, vorgestellt. Angesiedelt zwischen der klassischen Analyse mit Ordnungsparametern und einer gründlicheren, detaillierteren Bifurkationsanalyse, kombiniert MCBB Zufallsstichproben mit Clustering, um die verschiedenen Zustände und ihre Einzugsgebiete zu identifizieren.
Bei von Vorhersagen von komplexen Systemen ist es nicht immer einfach, wie Vorwissen in datengetriebenen Methoden integriert werden kann. Eine Möglichkeit hierzu ist die Verwendung von Neuronalen Partiellen Differentialgleichungen. Hier wird im letzten Teil der Arbeit gezeigt, wie hochdimensionale räumlich-zeitlich chaotische Systeme mit einem solchen Ansatz modelliert und vorhergesagt werden können. / Complex systems such as the Earth's climate are comprised of many constituents that are interlinked through an intricate coupling structure. For the analysis of such systems it therefore seems natural to bring together methods from network theory, dynamical systems theory and machine learning. By combining different concepts from these fields three novel approaches for the study of complex systems are considered throughout this thesis.
In the first part, a novel complex network construction method is introduced that is able to identify the most important wind paths of the South American Monsoon system. Aside from the importance of cross-equatorial flows, this analysis points to the impact Rossby Wave trains have both on the precipitation and low-level circulation. This connection is then further explored by showing that the precipitation is phase coherent to the Rossby Wave. As such, the first part of this thesis demonstrates how complex networks can be used to identify spatiotemporal variability patterns within large amounts of data, that are then further analysed with methods from nonlinear dynamics.
Most complex systems exhibit a large number of possible asymptotic states. To investigate and track such states, Monte Carlo Basin Bifurcation analysis (MCBB), a novel numerical method is introduced in the second part. Situated between the classical analysis with macroscopic order parameters and a more thorough, detailed bifurcation analysis, MCBB combines random sampling with clustering methods to identify and characterise the different asymptotic states and their basins of attraction.
Forecasts of complex system are the next logical step. When doing so, it is not always straightforward how prior knowledge in data-driven methods. One possibility to do is by using Neural Partial Differential Equations. Here, it is demonstrated how high-dimensional spatiotemporally chaotic systems can be modelled and predicted with such an approach in the last part of the thesis.
|
32 |
Development of an interface for the conversion of geodata in a NetCDF data model and publication of this data by the use of the web application DChart, related to the CEOP-AEGIS project / Entwicklung einer Schnittstelle zur Überführung von Geodaten des Projektes CEOP-AEGIS in ein NetCDF-Datenmodell und Publikation dieser Daten unter Verwendung der Internetanwendung DChartHolzer, Nicolai 08 August 2011 (has links) (PDF)
The Tibetan Plateau with an extent of about 2,5 million square kilometers at an average altitude higher than 4,700 meters has a significant impact on the Asian monsoon and regulates with its snow and ice reserves the upstream headwaters of seven major south-east Asian rivers. Upon the water supply of these rivers depend over 1,4 billion people, the agriculture, the economics, and the entire ecosystem in this region. As the increasing number of floods and droughts show, these seasonal water reserves however are likely to be influenced by climate change, with negative effects for the downstream water supply and subsequently the food security.
The international cooperation project CEOP-AEGIS – funded by the European Commission under the Seventh Framework Program – aims as a result to improve the knowledge of the hydrology and meteorology of the Qinghai-Tibetan Plateau to further understand its role in climate, monsoon and increasing extreme meteorological events. Within the framework of this project, a large variety of earth observation datasets from remote sensing products, model outputs and in-situ ground station measurements are collected and evaluated. Any foreground products of CEOP-AEGIS will have to be made available to the scientific community by an online data repository which is a contribution to the Global Earth Observation System of Systems (GEOSS). The back-end of the CEOP-AEGIS Data Portal relies on a Dapper OPeNDAP web server that serves data stored in the NetCDF file format to a DChart client front-end as web-based user interface. Data from project partners are heterogeneous in its content, and also in its type of storage and metadata description. However NetCDF project output data and metadata has to be standardized and must follow international conventions to achieve a high level of interoperability.
Out of these needs, the capabilities of NetCDF, OPeNDAP, Dapper and DChart were profoundly evaluated in order to take correct decisions for implementing a suitable and interoperable NetCDF data model for CEOP-AEGIS data that allows a maximum of compatibility and functionality to OPeNDAP and Dapper / DChart as well. This NetCDF implementation is part of a newly developed upstream data interface that converts and aggregates heterogeneous input data of project partners to standardized NetCDF datasets, so that they can be feed via OPeNDAP to the CEOP-AEGIS Data Portal based on the Dapper / DChart technology. A particular focus in the design of this data interface was set to an intermediate data and metadata representation that easily allows to modify its elements with the scope of achieving standardized NetCDF files in a simple way.
Considering the extensive variety and amount of data within this project, it was essential to properly design a data interface that converts heterogeneous input data of project partners to standardized and aggregated NetCDF output files in order to ensure maximum compatibility and functionality within the CEOP-AEGIS Data Portal and subsequently interoperability within the scientific community. / Das Hochplateau von Tibet mit einer Ausdehnung von 2.5 Millionen Quadratkilometer und einer durchschnittlichen Höhe von über 4 700 Meter beeinflusst wesentlich den asiatischen Monsun und reguliert mit seinen Schnee- und Eisreserven den Wasserhaushalt der Oberläufe der sieben wichtigsten Flüsse Südostasiens. Von diesem Wasserzufluss leben 1.4 Milliarden Menschen und hängt neben dem Ackerbau und der Wirtschaft das gesamte Ökosystem in dieser Gegend ab. Wie die zunehmende Zahl an Dürren und Überschwemmungen zeigt, sind diese jahreszeitlich beeinflussten Wasserreserven allen Anscheins nach vom Klimawandel betroffen, mit negativen Auswirkungen für die flussabwärts liegenden Stromgebiete und demzufolge die dortige Nahrungsmittelsicherheit.
Das internationale Kooperationsprojekt CEOP-AEGIS – finanziert von der Europäischen Kommission unter dem Siebten Rahmenprogramm – hat sich deshalb zum Ziel gesetzt, die Hydrologie und Meteorologie dieses Hochplateaus weiter zu erforschen, um daraus seine Rolle in Bezug auf das Klima, den Monsun und den zunehmenden extremen Wetterereignissen tiefgreifender verstehen zu können. Im Rahmen dieses Projektes werden verschiedenartigste Erdbeobachtungsdaten von Fernerkundungssystemen, numerischen Simulationen und Bodenstationsmessungen gesammelt und ausgewertet. Sämtliche Endprodukte des CEOP-AEGIS Projektes werden der wissenschaftlichen Gemeinschaft auf Grundlage einer über das Internet erreichbaren Datenbank zugänglich gemacht, welche eine Zuarbeit zur Initiative GEOSS (Global Earth Observing System of Systems) ist. Hintergründig basiert das CEOP-AEGIS Datenportal auf einem Dapper OPeNDAP Internetserver, welcher die im NetCDF Dateiformat gespeicherten Daten der vordergründigen internetbasierten DChart Benutzerschnittstelle auf Grundlage des OPeNDAP Protokolls bereit stellt. Eingangsdaten von Partnern dieses Projektes sind heterogen nicht nur in Bezug ihres Dateninhalts, sondern auch in Anbetracht ihrer Datenhaltung und Metadatenbeschreibung. Die Daten- und Metadatenhaltung der im NetCDF Dateiformat gespeicherten Endprodukte dieses Projektes müssen jedoch auf einer standardisierten Basis internationalen Konventionen folgen, damit ein hoher Grad an Interoperabilität erreicht werden kann.
In Anbetracht dieser Qualitätsanforderungen wurden die technischen Möglichkeiten von NetCDF, OPeNDAP, Dapper und DChart in dieser Diplomarbeit gründlich untersucht, damit auf Grundlage dieser Erkenntnisse eine korrekte Entscheidung bezüglich der Implementierung eines für CEOP-AEGIS Daten passenden und interoperablen NetCDF Datenmodels abgeleitet werden kann, das eine maximale Kompatibilität und Funktionalität mit OPeNDAP und Dapper / DChart sicher stellen soll. Diese NetCDF Implementierung ist Bestandteil einer neu entwickelten Datenschnittstelle, welche heterogene Daten von Projektpartnern in standardisierte NetCDF Datensätze konvertiert und aggregiert, sodass diese mittels OPeNDAP dem auf der Dapper / DChart Technologie basierendem Datenportal von CEOP-AEGIS zugeführt werden können. Einen besonderen Schwerpunkt bei der Entwicklung dieser Datenschnittstelle wurde auf eine intermediäre Daten- und Metadatenhaltung gelegt, welche mit der Zielsetzung von geringem Arbeitsaufwand die Modifizierung ihrer Elemente und somit die Erzeugung von standardisierten NetCDF Dateien auf eine einfache Art und Weise erlaubt.
In Anbetracht der beträchtlichen und verschiedenartigsten Geodaten dieses Projektes war es schlussendlich wesentlich, eine hochwertige Datenschnittstelle zur Überführung heterogener Eingangsdaten von Projektpartnern in standardisierte und aggregierte NetCDF Ausgansdateien zu entwickeln, um damit eine maximale Kompatibilität und Funktionalität mit dem CEOP-AEGIS Datenportal und daraus folgend ein hohes Maß an Interoperabilität innerhalb der wissenschaftlichen Gemeinschaft erzielen zu können.
|
33 |
Development of an interface for the conversion of geodata in a NetCDF data model and publication of this data by the use of the web application DChart, related to the CEOP-AEGIS projectHolzer, Nicolai 20 April 2011 (has links)
The Tibetan Plateau with an extent of about 2,5 million square kilometers at an average altitude higher than 4,700 meters has a significant impact on the Asian monsoon and regulates with its snow and ice reserves the upstream headwaters of seven major south-east Asian rivers. Upon the water supply of these rivers depend over 1,4 billion people, the agriculture, the economics, and the entire ecosystem in this region. As the increasing number of floods and droughts show, these seasonal water reserves however are likely to be influenced by climate change, with negative effects for the downstream water supply and subsequently the food security.
The international cooperation project CEOP-AEGIS – funded by the European Commission under the Seventh Framework Program – aims as a result to improve the knowledge of the hydrology and meteorology of the Qinghai-Tibetan Plateau to further understand its role in climate, monsoon and increasing extreme meteorological events. Within the framework of this project, a large variety of earth observation datasets from remote sensing products, model outputs and in-situ ground station measurements are collected and evaluated. Any foreground products of CEOP-AEGIS will have to be made available to the scientific community by an online data repository which is a contribution to the Global Earth Observation System of Systems (GEOSS). The back-end of the CEOP-AEGIS Data Portal relies on a Dapper OPeNDAP web server that serves data stored in the NetCDF file format to a DChart client front-end as web-based user interface. Data from project partners are heterogeneous in its content, and also in its type of storage and metadata description. However NetCDF project output data and metadata has to be standardized and must follow international conventions to achieve a high level of interoperability.
Out of these needs, the capabilities of NetCDF, OPeNDAP, Dapper and DChart were profoundly evaluated in order to take correct decisions for implementing a suitable and interoperable NetCDF data model for CEOP-AEGIS data that allows a maximum of compatibility and functionality to OPeNDAP and Dapper / DChart as well. This NetCDF implementation is part of a newly developed upstream data interface that converts and aggregates heterogeneous input data of project partners to standardized NetCDF datasets, so that they can be feed via OPeNDAP to the CEOP-AEGIS Data Portal based on the Dapper / DChart technology. A particular focus in the design of this data interface was set to an intermediate data and metadata representation that easily allows to modify its elements with the scope of achieving standardized NetCDF files in a simple way.
Considering the extensive variety and amount of data within this project, it was essential to properly design a data interface that converts heterogeneous input data of project partners to standardized and aggregated NetCDF output files in order to ensure maximum compatibility and functionality within the CEOP-AEGIS Data Portal and subsequently interoperability within the scientific community.:Task of Diploma Thesis ii
Declaration of academic honesty vii
Abstract ix
Acknowledgments xiii
Dedication xv
Table of Contents xvii
List of Figures xxi
List of Tables xxiii
List of Listings xxv
Nomenclature xxvii
1 Introduction 1
1.1 CEOP-AEGIS project . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Objective of this thesis . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Structure of this work . . . . . . . . . . . . . . . . . . . . . . 10
2 Theoretical foundations 13
2.1 NetCDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.1 Data models . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.4 Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.6 NetCDF 3 . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.7 NetCDF 4 . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.8 Common Data Model . . . . . . . . . . . . . . . . . . . 31
2.1.9 NetCDF libraries and APIs . . . . . . . . . . . . . . . 33
2.1.10 NetCDF utilities . . . . . . . . . . . . . . . . . . . . . 34
2.1.11 NetCDF textual representations . . . . . . . . . . . . . 35
2.1.12 NetCDF conventions . . . . . . . . . . . . . . . . . . . 36
2.2 OPeNDAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.2 OPeNDAP servers . . . . . . . . . . . . . . . . . . . . 42
2.2.3 OPeNDAP clients . . . . . . . . . . . . . . . . . . . . . 47
2.2.4 Data Access Protocol . . . . . . . . . . . . . . . . . . . 48
2.2.5 OPeNDAP data models and data types . . . . . . . . . 49
2.2.6 OPeNDAP and NetCDF . . . . . . . . . . . . . . . . . 53
2.3 Dapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.3.1 Climate Data Portal . . . . . . . . . . . . . . . . . . . 57
2.3.2 System architecture and Dapper services . . . . . . . . 58
2.3.3 Data aggregation . . . . . . . . . . . . . . . . . . . . . 60
2.3.4 Supported conventions of Dapper . . . . . . . . . . . . 61
2.4 DChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.4.1 Design goals . . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.2 Functionality . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.3 System architecture . . . . . . . . . . . . . . . . . . . . 64
2.5 Dapper and DChart configuration . . . . . . . . . . . . . . . . 66
2.5.1 License and release notes . . . . . . . . . . . . . . . . . 67
2.5.2 Dapper and DChart system requirements . . . . . . . . 67
3 Implementation 69
3.1 Scientific data types . . . . . . . . . . . . . . . . . . . . . . . 69
3.1.1 Gridded data . . . . . . . . . . . . . . . . . . . . . . . 70
3.1.2 In-situ data . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2 NetCDF for CEOP-AEGIS . . . . . . . . . . . . . . . . . . . . 71
3.2.1 CF Climate and Forecast Convention . . . . . . . . . . 73
3.2.2 Dapper In-situ Convention . . . . . . . . . . . . . . . . 80
3.2.3 NetCDF implementation for CEOP-AEGIS . . . . . . 89
3.3 CEOP-AEGIS Data Interface . . . . . . . . . . . . . . . . . . 93
3.3.1 Intermediate data model . . . . . . . . . . . . . . . . . 95
3.3.2 Data Interface dependencies . . . . . . . . . . . . . . . 98
3.3.3 Data Interface usage . . . . . . . . . . . . . . . . . . . 98
3.3.4 Data Interface modules . . . . . . . . . . . . . . . . . . 105
3.4 Final products . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 Conclusion 111
4.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
A Appendix 119
A.1 CD-ROM of project data . . . . . . . . . . . . . . . . . . . . . 119
A.2 Flood occurrence maps . . . . . . . . . . . . . . . . . . . . . . 121
A.2.1 Flood occurrence May . . . . . . . . . . . . . . . . . . 122
A.2.2 Flood occurrence August . . . . . . . . . . . . . . . . . 123
A.3 CEOP-AEGIS Data Portal . . . . . . . . . . . . . . . . . . . . 124
A.3.1 Capture image of CEOP-AEGIS Data Portal . . . . . . 125
A.3.2 Dapper configuration file . . . . . . . . . . . . . . . . . 126
A.3.3 DChart configuration file . . . . . . . . . . . . . . . . . 127
A.4 NetCDF data models for CEOP-AEGIS . . . . . . . . . . . . 130
A.4.1 Data model for gridded data . . . . . . . . . . . . . . . 131
A.4.2 Data model for in-situ data . . . . . . . . . . . . . . . 132
A.5 Upstream data interface . . . . . . . . . . . . . . . . . . . . . 133
A.5.1 Data Interface and service chain . . . . . . . . . . . . . 134
A.5.2 Data Interface data flow . . . . . . . . . . . . . . . . . 135
A.5.3 Data Interface data flow 2 . . . . . . . . . . . . . . . . 136
A.5.4 Data Interface modules and classes . . . . . . . . . . . 137
A.5.5 Data Interface NetCDF metadata file for gridded data 138
A.5.6 Data Interface NetCDF metadata file for in-situ data . 139
A.5.7 Data Interface coordinate metadata file for gridded data140
A.5.8 Data Interface coordinate metadata file for in-situ data 140
A.5.9 Data Interface UI main program . . . . . . . . . . . . . 141
A.5.10 Data Interface UI GrADS component . . . . . . . . . . 142
A.5.11 Data Interface UI GDAL component . . . . . . . . . . 143
A.5.12 Data Interface UI CSV component . . . . . . . . . . . 144
A.5.13 Data Interface settings file for gridded data . . . . . . . 145
A.5.14 Data Interface settings file for in-situ data . . . . . . . 146
A.5.15 Data Interface batch file for data conversion via GrADS146
A.5.16 Data Interface batch file for data conversion via GDAL 147
A.5.17 Data Interface batch file for data conversion via CSV . 148
A.6 Pydoc documentation for upstream data interface . . . . . . . 149
A.6.1 grads_2Interface.py . . . . . . . . . . . . . . . . . . . . 150
A.6.2 gdal_2Interface.py . . . . . . . . . . . . . . . . . . . . 155
A.6.3 csv_2Interface.py . . . . . . . . . . . . . . . . . . . . . 162
A.6.4 interface_Main.py . . . . . . . . . . . . . . . . . . . . 167
A.6.5 interface_Settings.py . . . . . . . . . . . . . . . . . . . 172
A.6.6 interface_Control.py . . . . . . . . . . . . . . . . . . . 175
A.6.7 interface_Model.py . . . . . . . . . . . . . . . . . . . . 179
A.6.8 interface_ModelUtilities.py . . . . . . . . . . . . . . . 185
A.6.9 interface_Data.py . . . . . . . . . . . . . . . . . . . . . 189
A.6.10 interface_ProcessingTools.py . . . . . . . . . . . . . . 191
Bibliography 197
Index 205 / Das Hochplateau von Tibet mit einer Ausdehnung von 2.5 Millionen Quadratkilometer und einer durchschnittlichen Höhe von über 4 700 Meter beeinflusst wesentlich den asiatischen Monsun und reguliert mit seinen Schnee- und Eisreserven den Wasserhaushalt der Oberläufe der sieben wichtigsten Flüsse Südostasiens. Von diesem Wasserzufluss leben 1.4 Milliarden Menschen und hängt neben dem Ackerbau und der Wirtschaft das gesamte Ökosystem in dieser Gegend ab. Wie die zunehmende Zahl an Dürren und Überschwemmungen zeigt, sind diese jahreszeitlich beeinflussten Wasserreserven allen Anscheins nach vom Klimawandel betroffen, mit negativen Auswirkungen für die flussabwärts liegenden Stromgebiete und demzufolge die dortige Nahrungsmittelsicherheit.
Das internationale Kooperationsprojekt CEOP-AEGIS – finanziert von der Europäischen Kommission unter dem Siebten Rahmenprogramm – hat sich deshalb zum Ziel gesetzt, die Hydrologie und Meteorologie dieses Hochplateaus weiter zu erforschen, um daraus seine Rolle in Bezug auf das Klima, den Monsun und den zunehmenden extremen Wetterereignissen tiefgreifender verstehen zu können. Im Rahmen dieses Projektes werden verschiedenartigste Erdbeobachtungsdaten von Fernerkundungssystemen, numerischen Simulationen und Bodenstationsmessungen gesammelt und ausgewertet. Sämtliche Endprodukte des CEOP-AEGIS Projektes werden der wissenschaftlichen Gemeinschaft auf Grundlage einer über das Internet erreichbaren Datenbank zugänglich gemacht, welche eine Zuarbeit zur Initiative GEOSS (Global Earth Observing System of Systems) ist. Hintergründig basiert das CEOP-AEGIS Datenportal auf einem Dapper OPeNDAP Internetserver, welcher die im NetCDF Dateiformat gespeicherten Daten der vordergründigen internetbasierten DChart Benutzerschnittstelle auf Grundlage des OPeNDAP Protokolls bereit stellt. Eingangsdaten von Partnern dieses Projektes sind heterogen nicht nur in Bezug ihres Dateninhalts, sondern auch in Anbetracht ihrer Datenhaltung und Metadatenbeschreibung. Die Daten- und Metadatenhaltung der im NetCDF Dateiformat gespeicherten Endprodukte dieses Projektes müssen jedoch auf einer standardisierten Basis internationalen Konventionen folgen, damit ein hoher Grad an Interoperabilität erreicht werden kann.
In Anbetracht dieser Qualitätsanforderungen wurden die technischen Möglichkeiten von NetCDF, OPeNDAP, Dapper und DChart in dieser Diplomarbeit gründlich untersucht, damit auf Grundlage dieser Erkenntnisse eine korrekte Entscheidung bezüglich der Implementierung eines für CEOP-AEGIS Daten passenden und interoperablen NetCDF Datenmodels abgeleitet werden kann, das eine maximale Kompatibilität und Funktionalität mit OPeNDAP und Dapper / DChart sicher stellen soll. Diese NetCDF Implementierung ist Bestandteil einer neu entwickelten Datenschnittstelle, welche heterogene Daten von Projektpartnern in standardisierte NetCDF Datensätze konvertiert und aggregiert, sodass diese mittels OPeNDAP dem auf der Dapper / DChart Technologie basierendem Datenportal von CEOP-AEGIS zugeführt werden können. Einen besonderen Schwerpunkt bei der Entwicklung dieser Datenschnittstelle wurde auf eine intermediäre Daten- und Metadatenhaltung gelegt, welche mit der Zielsetzung von geringem Arbeitsaufwand die Modifizierung ihrer Elemente und somit die Erzeugung von standardisierten NetCDF Dateien auf eine einfache Art und Weise erlaubt.
In Anbetracht der beträchtlichen und verschiedenartigsten Geodaten dieses Projektes war es schlussendlich wesentlich, eine hochwertige Datenschnittstelle zur Überführung heterogener Eingangsdaten von Projektpartnern in standardisierte und aggregierte NetCDF Ausgansdateien zu entwickeln, um damit eine maximale Kompatibilität und Funktionalität mit dem CEOP-AEGIS Datenportal und daraus folgend ein hohes Maß an Interoperabilität innerhalb der wissenschaftlichen Gemeinschaft erzielen zu können.:Task of Diploma Thesis ii
Declaration of academic honesty vii
Abstract ix
Acknowledgments xiii
Dedication xv
Table of Contents xvii
List of Figures xxi
List of Tables xxiii
List of Listings xxv
Nomenclature xxvii
1 Introduction 1
1.1 CEOP-AEGIS project . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Objective of this thesis . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Structure of this work . . . . . . . . . . . . . . . . . . . . . . 10
2 Theoretical foundations 13
2.1 NetCDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.1 Data models . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.4 Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.6 NetCDF 3 . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.7 NetCDF 4 . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.8 Common Data Model . . . . . . . . . . . . . . . . . . . 31
2.1.9 NetCDF libraries and APIs . . . . . . . . . . . . . . . 33
2.1.10 NetCDF utilities . . . . . . . . . . . . . . . . . . . . . 34
2.1.11 NetCDF textual representations . . . . . . . . . . . . . 35
2.1.12 NetCDF conventions . . . . . . . . . . . . . . . . . . . 36
2.2 OPeNDAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.2 OPeNDAP servers . . . . . . . . . . . . . . . . . . . . 42
2.2.3 OPeNDAP clients . . . . . . . . . . . . . . . . . . . . . 47
2.2.4 Data Access Protocol . . . . . . . . . . . . . . . . . . . 48
2.2.5 OPeNDAP data models and data types . . . . . . . . . 49
2.2.6 OPeNDAP and NetCDF . . . . . . . . . . . . . . . . . 53
2.3 Dapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.3.1 Climate Data Portal . . . . . . . . . . . . . . . . . . . 57
2.3.2 System architecture and Dapper services . . . . . . . . 58
2.3.3 Data aggregation . . . . . . . . . . . . . . . . . . . . . 60
2.3.4 Supported conventions of Dapper . . . . . . . . . . . . 61
2.4 DChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.4.1 Design goals . . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.2 Functionality . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.3 System architecture . . . . . . . . . . . . . . . . . . . . 64
2.5 Dapper and DChart configuration . . . . . . . . . . . . . . . . 66
2.5.1 License and release notes . . . . . . . . . . . . . . . . . 67
2.5.2 Dapper and DChart system requirements . . . . . . . . 67
3 Implementation 69
3.1 Scientific data types . . . . . . . . . . . . . . . . . . . . . . . 69
3.1.1 Gridded data . . . . . . . . . . . . . . . . . . . . . . . 70
3.1.2 In-situ data . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2 NetCDF for CEOP-AEGIS . . . . . . . . . . . . . . . . . . . . 71
3.2.1 CF Climate and Forecast Convention . . . . . . . . . . 73
3.2.2 Dapper In-situ Convention . . . . . . . . . . . . . . . . 80
3.2.3 NetCDF implementation for CEOP-AEGIS . . . . . . 89
3.3 CEOP-AEGIS Data Interface . . . . . . . . . . . . . . . . . . 93
3.3.1 Intermediate data model . . . . . . . . . . . . . . . . . 95
3.3.2 Data Interface dependencies . . . . . . . . . . . . . . . 98
3.3.3 Data Interface usage . . . . . . . . . . . . . . . . . . . 98
3.3.4 Data Interface modules . . . . . . . . . . . . . . . . . . 105
3.4 Final products . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 Conclusion 111
4.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
A Appendix 119
A.1 CD-ROM of project data . . . . . . . . . . . . . . . . . . . . . 119
A.2 Flood occurrence maps . . . . . . . . . . . . . . . . . . . . . . 121
A.2.1 Flood occurrence May . . . . . . . . . . . . . . . . . . 122
A.2.2 Flood occurrence August . . . . . . . . . . . . . . . . . 123
A.3 CEOP-AEGIS Data Portal . . . . . . . . . . . . . . . . . . . . 124
A.3.1 Capture image of CEOP-AEGIS Data Portal . . . . . . 125
A.3.2 Dapper configuration file . . . . . . . . . . . . . . . . . 126
A.3.3 DChart configuration file . . . . . . . . . . . . . . . . . 127
A.4 NetCDF data models for CEOP-AEGIS . . . . . . . . . . . . 130
A.4.1 Data model for gridded data . . . . . . . . . . . . . . . 131
A.4.2 Data model for in-situ data . . . . . . . . . . . . . . . 132
A.5 Upstream data interface . . . . . . . . . . . . . . . . . . . . . 133
A.5.1 Data Interface and service chain . . . . . . . . . . . . . 134
A.5.2 Data Interface data flow . . . . . . . . . . . . . . . . . 135
A.5.3 Data Interface data flow 2 . . . . . . . . . . . . . . . . 136
A.5.4 Data Interface modules and classes . . . . . . . . . . . 137
A.5.5 Data Interface NetCDF metadata file for gridded data 138
A.5.6 Data Interface NetCDF metadata file for in-situ data . 139
A.5.7 Data Interface coordinate metadata file for gridded data140
A.5.8 Data Interface coordinate metadata file for in-situ data 140
A.5.9 Data Interface UI main program . . . . . . . . . . . . . 141
A.5.10 Data Interface UI GrADS component . . . . . . . . . . 142
A.5.11 Data Interface UI GDAL component . . . . . . . . . . 143
A.5.12 Data Interface UI CSV component . . . . . . . . . . . 144
A.5.13 Data Interface settings file for gridded data . . . . . . . 145
A.5.14 Data Interface settings file for in-situ data . . . . . . . 146
A.5.15 Data Interface batch file for data conversion via GrADS146
A.5.16 Data Interface batch file for data conversion via GDAL 147
A.5.17 Data Interface batch file for data conversion via CSV . 148
A.6 Pydoc documentation for upstream data interface . . . . . . . 149
A.6.1 grads_2Interface.py . . . . . . . . . . . . . . . . . . . . 150
A.6.2 gdal_2Interface.py . . . . . . . . . . . . . . . . . . . . 155
A.6.3 csv_2Interface.py . . . . . . . . . . . . . . . . . . . . . 162
A.6.4 interface_Main.py . . . . . . . . . . . . . . . . . . . . 167
A.6.5 interface_Settings.py . . . . . . . . . . . . . . . . . . . 172
A.6.6 interface_Control.py . . . . . . . . . . . . . . . . . . . 175
A.6.7 interface_Model.py . . . . . . . . . . . . . . . . . . . . 179
A.6.8 interface_ModelUtilities.py . . . . . . . . . . . . . . . 185
A.6.9 interface_Data.py . . . . . . . . . . . . . . . . . . . . . 189
A.6.10 interface_ProcessingTools.py . . . . . . . . . . . . . . 191
Bibliography 197
Index 205
|
34 |
Atmospheric Variability in Sulawesi, Indonesia / Regional Atmospheric Model Results and Observations / Atmosphärische Variabilität in Sulawesi, Indonesien / Ergebnisse und Beobachtungen zum regionalen, atmosphärischen ModellGunawan, Dodo 01 December 2006 (has links)
No description available.
|
35 |
Klimawandel in Sachsen - wir passen uns an08 September 2021 (has links)
In dieser Broschüre werden erstmals für Sachsen in einem umfassenden Überblick die jeweiligen Betroffenheiten der verschiedenen Umweltmedien und Landnutzungen vom Klimawandel dargestellt und erläutert. Darüber hinaus werden nicht nur bereits eingeleitete, umgesetzte bzw. sich in Planung befindliche Anpassungsmaßnahmen vorgestellt, sondern auch Handlungsoptionen für die Zukunft aufgezeigt.
Redaktionsschluss: 10.11.2015
|
36 |
Blockierende Wetterlagen: Klimatologien für Wetterextreme aus quasi-stationären atmosphärischen Zuständen für Sachsen (Blockierende Wetterlagen): Endbericht: Projektlaufzeit: 13.3.2020 - 15.11.2023Lohmann, Richard, Ahrens, Bodo 28 August 2024 (has links)
Der Bericht informiert über Wetterextreme in Sachsen, deren Ursache quasistationäre atmosphärische Zustände sind (blockierende Wetterlagen). Die Ergebnisse zu Hitzeperioden, Starkregenereignissen (Vb) und flauten-reichen Perioden helfen, Anpassungsstrategien zu evaluieren und fortzuschreiben. Die Veröffentlichung richtet sich an die mit dem Thema befassten Fachleute.
Redaktionsschluss: 10.06.2024
|
37 |
Water turnover in species-rich and species-poor deciduous forests: xylem sap flow and canopy transpiration / Wasserumsatz in artenreichen und artenarmen Laubwäldern: Xylemsaftfluss und Kronendach-TranspirationGebauer, Tobias 20 February 2009 (has links)
No description available.
|
38 |
Postglazialer Anstieg des Meeresspiegels, Paläoklima und Hydrographie, aufgezeichnet in Sedimenten der Bermuda inshore waters / Postglacial rise of sea level, palaeoclimate and hydrography, recorded in sediments of the Bermuda inshore watersVollbrecht, Rüdiger Dr. 13 January 1997 (has links)
No description available.
|
Page generated in 0.1116 seconds