Cette thèse est organisée en trois chapitres. Les deux premiers proposent une approche régularisée pour l’estimation du modèle de données de panel dynamique : l’estimateur GMM et l’estimateur LIML. Le dernier chapitre de la thèse est une application de la méthode de régularisation à l’estimation des élasticités de l’offre de travail en utilisant des modèles de pseudo-données de panel. Dans un modèle de panel dynamique, le nombre de conditions de moments augmente rapidement avec la dimension temporelle du panel conduisant à une matrice de covariance des instruments de grande dimension. L’inversion d’une telle matrice pour calculer l’estimateur affecte négativement les propriétés de l’estimateur en échantillon fini. Comme solution à ce problème, nous proposons une approche par la régularisation qui consiste à utiliser une inverse généralisée de la matrice de covariance au lieu de son inverse classique. Trois techniques de régularisation sont utilisées : celle des composantes principales, celle de Tikhonov qui est basée sur le Ridge régression (aussi appelée Bayesian shrinkage) et enfin celle de Landweber Fridman qui est une méthode itérative. Toutes ces techniques introduisent un paramètre de régularisation qui est similaire au paramètre de lissage dans les régressions non paramétriques. Les propriétés en echantillon fini de l’estimateur régularisé dépend de ce paramètre qui doit être sélectionné parmis plusieurs valeurs potentielles. Dans le premier chapitre (co-écrit avec Marine Carrasco), nous proposons l’estimateur GMM régularisé du modèle de panel dynamique. Sous l’hypothèse que le nombre d’individus et de périodes du panel tendent vers l’infini, nous montrons que nos estimateurs sont convergents and assymtotiquement normaux. Nous dérivons une méthode empirique de sélection du paramètrede régularisation basée sur une expansion de second ordre du l’erreur quadratique moyenne et nous démontrons l’optimalité de cette procédure de sélection. Les simulations montrent que la régularisation améliore les propriétés de l ’estimateur GMM classique. Comme application empirique, nous avons analysé l’effet du développement financier sur la croissance économique. Dans le deuxième chapitre (co-écrit avec Marine Carrasco), nous nous intéressons à l’estimateur LIML régularisé du modèle de données de panel dynamique. L’estimateur LIML est connu pour avoir de meilleures propriétés en échantillon fini que l’estimateur GMM mais son utilisation devient problématique lorsque la dimension temporelle du panel devient large. Nous dérivons les propriétes assymtotiques de l’estimateur LIML régularisé sous l’hypothèse que le nombre d’individus et de périodes du panel tendent vers l’infini. Une procédure empirique de sélection du paramètre de régularisation est aussi proposée. Les bonnes performances de l’estimateur régularisé par rapport au LIML classique (non régularisé), au GMM classique ainsi que le GMM régularisé sont confirmées par des simulations. Dans le dernier chapitre, je considère l’estimation des élasticités d’offre de travail des hommes canadiens. L’hétérogéneité inobservée ainsi que les erreurs de mesures sur les salaires et les revenus sont connues pour engendrer de l’endogéneité quand on estime les modèles d’offre de travail. Une solution fréquente à ce problème d’endogéneité consiste à régrouper les données sur la base des carastéristiques observables et d’ éffectuer les moindres carrées pondérées sur les moyennes des goupes. Il a été démontré que cet estimateur est équivalent à l’estimateur des variables instrumentales sur les données individuelles avec les indicatrices de groupe comme instruments. Donc, en présence d’un grand nombre de groupe, cet estimateur souffre de biais en échantillon fini similaire à celui de l’estimateur des variables instrumentales quand le nombre d’instruments est élevé. Profitant de cette correspondance entre l’estimateur sur les données groupées et l’estimateur des variables instrumentales sur les données individuelles, nous proposons une approche régularisée à l’estimation du modèle. Cette approche conduit à des élasticités substantiellement différentes de ceux qu’on obtient en utilisant l’estimateur sur données groupées. / This thesis is organized in three chapters. The first two chapters propose a regularization approach to the estimation of two estimators of the dynamic panel data model : the Generalized Method of Moment (GMM) estimator and the Limited Information Maximum Likelihood (LIML) estimator. The last chapter of the thesis is an application of regularization to the estimation of labor supply elasticities using pseudo panel data models. In a dynamic panel data model, the number of moment conditions increases rapidly with the time dimension, resulting in a large dimensional covariance matrix of the instruments. Inverting this large dimensional matrix to compute the estimator leads to poor finite sample properties. To address this issue, we propose a regularization approach to the estimation of such models where a generalized inverse of the covariance matrix of the intruments is used instead of its usual inverse. Three regularization schemes are used : Principal components, Tikhonov which is based on Ridge regression (also called Bayesian shrinkage) and finally Landweber Fridman which is an iterative method. All these methods involve a regularization parameter which is similar to the smoothing parameter in nonparametric regressions. The finite sample properties of the regularized estimator depends on this parameter which needs to be selected between many potential values. In the first chapter (co-authored with Marine Carrasco), we propose the regularized GMM estimator of the dynamic panel data models. Under double asymptotics, we show that our regularized estimators are consistent and asymptotically normal provided that the regularization parameter goes to zero slower than the sample size goes to infinity. We derive a data driven selection of the regularization parameter based on an approximation of the higher-order Mean Square Error and show its optimality. The simulations confirm that regularization improves the properties of the usual GMM estimator. As empirical application, we investigate the effect of financial development on economic growth. In the second chapter (co-authored with Marine Carrasco), we propose the regularized LIML estimator of the dynamic panel data model. The LIML estimator is known to have better small sample properties than the GMM estimator but its implementation becomes problematic when the time dimension of the panel becomes large. We derive the asymptotic properties of the regularized LIML under double asymptotics. A data-driven procedure to select the parameter of regularization is proposed. The good performances of the regularized LIML estimator over the usual (not regularized) LIML estimator, the usual GMM estimator and the regularized GMM estimator are confirmed by the simulations. In the last chapter, I consider the estimation of the labor supply elasticities of Canadian men through a regularization approach. Unobserved heterogeneity and measurement errors on wage and income variables are known to cause endogeneity issues in the estimation of labor supply models. A popular solution to the endogeneity issue is to group data in categories based on observable characteristics and compute the weighted least squares at the group level. This grouping estimator has been proved to be equivalent to instrumental variables (IV) estimator on the individual level data using group dummies as intruments. Hence, in presence of large number of groups, the grouping estimator exhibites a small bias similar to the one of the IV estimator in presence of many instruments. I take advantage of the correspondance between grouping estimators and the IV estimator to propose a regularization approach to the estimation of the model. Using this approach leads to wage elasticities that are substantially different from those obtained through grouping estimators.

Das Leibniz-Institut für ökologische Raumentwicklung (IÖR) verfolgt u. a. das Ziel, präzise Kenntnisse über das Mengengerüst des deutschen Gebäudebestandes und seiner Eigenschaften zu gewinnen und räumlich hochauflösende Indikatoren als Grundlage einer nachhaltigen Raumentwicklung für Planer und Entscheidungsträger zu erarbeiten. Dieser Beitrag fokussiert auf Ansätze der räumlichen Analyse, die eine Quantifizierung und Charakterisierung des Gesamtbestandes von Wohn- und Nichtwohngebäuden unterstützen. Vorgestellt werden erste Ergebnisse einer deutschlandweiten Auswertung amtlicher Hauskoordinaten und Hausumringe. Der Gebäudebestand wird nach Bundesländern und nach Raumstrukturtypen des Bundesinstituts für Bau-, Stadt- und Raumforschung (BBSR) gegliedert. Es besteht Bedarf, nicht nur Datenmodelle zu entwickeln, sondern daraus auch Erklärungs- und Messmodelle abzuleiten, die einen expliziten Raumbezug aufweisen und sich zur bestandsorientierten Wissensgewinnung sowie zur Strategieentwicklung eignen – auch im europäischen Kontext.

New Public Management unterstützt Universitäten und Forschungseinrichtungen dabei, in einem stark wettbewerbsorientierten Forschungsumfeld zu bestehen. Entscheidungen unter Unsicherheit, z.B. die Verteilung von Mitteln für den Forschungsbedarf und Forschungszwecke, erfordert von Politik und Hochschulmanagement, die Beziehungen zwischen den Dimensionen der Forschungsleistung und den resultierenden oder eingehenden Zuschüssen zu verstehen. Hierfür ist es wichtig, die Variablen der wissenschaftlichen Wissensproduktion auf der Ebene von Individuen, Forschungsgruppen und Universitäten zu untersuchen. Das Kapitel 2 dieser Arbeit analysiert die Ebene der Individuen. Es verwendet die Beobachtungen der Forscherprofile von Handelsblatt (HB), Research Papers in Economics (RePEc, hier RP) und Google Scholar (GS) als meist verbreitete Ranking-Systeme in BWL und VWL im deutschsprachigen Raum. Das Kapitel 3 liefert eine empirische Evidenz für die Ebene von Forschungsgruppen und verwendet die Daten eines Sonderforschungsbereichs (SFB) zu Finanzinputs und Forschungsoutput von 2005 bis 2016. Das Kapitel beginnt mit der Beschreibung passender Performanzindikatoren, gefolgt von einer innovativen visuellen Datenanalyse. Im Hauptteil des Kapitels untersucht die Arbeit mit Hilfe eines Zeit-Fixed-Effects-Panel- Modells und eines Fixed-Effects-Poisson-Modells den Zusammenhang zwischen finanziellen Inputs und Forschungsoutputs. Das Kapitel 4 beschäftigt sich mit dem Niveau der Universitäten und untersucht die Interdependenzstruktur zwischen Drittmittelausgaben, Publikationen, Zitationen und akademischem Alter mit Hilfe eines PVARX-Modells, einer Impulsantwort und einer Zerlegung der Prognosefehlervarianz. Abschließend befasst sich das Kapitel mit den möglichen Implikationen für Politik und Entscheidungsfindung und schlägt Empfehlungen für das universitäre Forschungsmanagement vor. / New Public Management helps universities and research institutions to perform in a highly competitive research environment. Decision making in the face of uncertainty, for example distribution of funds for research needs and purposes, urges research policy makers and university managers to understand the relationships between the dimensions of research performance and the resulting or incoming grants. Thus, it is important to accurately reflect the variables of scientific knowledge production on the level of individuals, research groups and universities. Chapter 2 of this thesis introduces an analysis on the level of individuals. The data are taken from the three widely-used ranking systems in the economic and business sciences among German-speaking countries: Handelsblatt (HB), Research Papers in Economics (RePEc, here RP) and Google Scholar (GS). It proposes a framework for collating ranking data for comparison purposes. Chapter 3 provides empirical evidence on the level of research groups using data from a Collaborative Research Center (CRC) on financial inputs and research output from 2005 to 2016. First, suitable performance indicators are discussed. Second, main properties of the data are described using visualization techniques. Finally, the time fixed effects panel data model and the fixed effects Poisson model are used to analyze an interdependency between financial inputs and research outputs. Chapter 4 examines the interdependence structure between third-party expenses (TPE), publications, citations and academic age using university data on individual performance in different scientific areas. A panel vector autoregressive model with exogenous variables (PVARX), impulse response functions and a forecast error variance decomposition help to capture the relationships in the system. To summarize, the chapter addresses the possible implications for policy and decision making and proposes recommendations for university research management.

人類慾望無窮而資源有限，所以如何將資源做最有效的使用一直是經濟學所追求的課題。有關效率的規範分析中，巴瑞圖最適（Pareto optimality）為接受度最高的準則。基於巴瑞圖效率的觀點，不論是營利組織或非營利組織其經營之基本理念皆是希望以最少的投入獲得最大的產出，因此衡量投入與產出間之相對表現即為效率的評估。非營利組織及公共部門因為有許多產出、投入不易量化，故其效率不易評定。此一情況一直到DEA（Data Envelopment Analysis；資料包絡分析法）發展才逐漸改善。另外，有關DEA的運用幾乎都集中在個別決策單位的效率衡量，將之應用在衡量總體經濟的表現上非常少見。所以論文第肆章是按傳統方式以DEA衡量我國地方政府的效率並分析造成效率差異的原因，第參章則將DEA的概念應用於經濟成長上，探討使經濟成長達到極大化之租稅負擔及租稅結構。又效率的追求為經濟學的主軸，但中央政府的效率目標與地方政府並不相同，由於目標不同，因此彼此所訂的租稅政策亦不相同。本文第伍章試圖提出一理論模型說明中央政府在面對異質地區的垂直外部性下如何有效率的訂定其租稅政策。 / The human desires are infinite but resources are scarce. Using resources effectively is the topic of the economics. In efficient analyses, the Pareto optimality is the highest criterion to accept. Based on Pareto efficiency, the basic idea is to obtain the most outputs by the least inputs. Therefore the efficiency measurement is to calculate the relative performance of inputs and outputs. The nonprofit organization and the public agencies have many outputs and inputs not easy to be quantified; hence, their efficiency is not easy to evaluate. This phenomenon doesn’t improve until DEA (Data Envelopment Analysis) was developed. However, the application of DEA concentrates nearly on the efficiency measurement of individual policy-making unit; the application is be rarely used in measuring the performance of the macro-economy. Chapter 4 of this dissertation measures and explains the variation in cost efficiency of the local governments in Taiwan area. Chapter 3 deals with the application the DEA to economic growth, estimating a combination of the tax burden(the ratio of tax revenue to GDP）and the tax structure(the ratio of indirect taxes to direct taxes)which would maximize the rate of growth of GDP of Taiwan. Efficiency is the core of economics, but the national government’s efficient goal is not as same as the local government’s. Because their goals are not consistent, thus the tax policies are different. Chapter 5 attempts to propose a theoretical model to explain how a national or federal government decides its tax policy in the vertical externalities happening in heterogeneous states.

The Tibetan Plateau with an extent of about 2,5 million square kilometers at an average altitude higher than 4,700 meters has a significant impact on the Asian monsoon and regulates with its snow and ice reserves the upstream headwaters of seven major south-east Asian rivers. Upon the water supply of these rivers depend over 1,4 billion people, the agriculture, the economics, and the entire ecosystem in this region. As the increasing number of floods and droughts show, these seasonal water reserves however are likely to be influenced by climate change, with negative effects for the downstream water supply and subsequently the food security. The international cooperation project CEOP-AEGIS – funded by the European Commission under the Seventh Framework Program – aims as a result to improve the knowledge of the hydrology and meteorology of the Qinghai-Tibetan Plateau to further understand its role in climate, monsoon and increasing extreme meteorological events. Within the framework of this project, a large variety of earth observation datasets from remote sensing products, model outputs and in-situ ground station measurements are collected and evaluated. Any foreground products of CEOP-AEGIS will have to be made available to the scientific community by an online data repository which is a contribution to the Global Earth Observation System of Systems (GEOSS). The back-end of the CEOP-AEGIS Data Portal relies on a Dapper OPeNDAP web server that serves data stored in the NetCDF file format to a DChart client front-end as web-based user interface. Data from project partners are heterogeneous in its content, and also in its type of storage and metadata description. However NetCDF project output data and metadata has to be standardized and must follow international conventions to achieve a high level of interoperability. Out of these needs, the capabilities of NetCDF, OPeNDAP, Dapper and DChart were profoundly evaluated in order to take correct decisions for implementing a suitable and interoperable NetCDF data model for CEOP-AEGIS data that allows a maximum of compatibility and functionality to OPeNDAP and Dapper / DChart as well. This NetCDF implementation is part of a newly developed upstream data interface that converts and aggregates heterogeneous input data of project partners to standardized NetCDF datasets, so that they can be feed via OPeNDAP to the CEOP-AEGIS Data Portal based on the Dapper / DChart technology. A particular focus in the design of this data interface was set to an intermediate data and metadata representation that easily allows to modify its elements with the scope of achieving standardized NetCDF files in a simple way. Considering the extensive variety and amount of data within this project, it was essential to properly design a data interface that converts heterogeneous input data of project partners to standardized and aggregated NetCDF output files in order to ensure maximum compatibility and functionality within the CEOP-AEGIS Data Portal and subsequently interoperability within the scientific community. / Das Hochplateau von Tibet mit einer Ausdehnung von 2.5 Millionen Quadratkilometer und einer durchschnittlichen Höhe von über 4 700 Meter beeinflusst wesentlich den asiatischen Monsun und reguliert mit seinen Schnee- und Eisreserven den Wasserhaushalt der Oberläufe der sieben wichtigsten Flüsse Südostasiens. Von diesem Wasserzufluss leben 1.4 Milliarden Menschen und hängt neben dem Ackerbau und der Wirtschaft das gesamte Ökosystem in dieser Gegend ab. Wie die zunehmende Zahl an Dürren und Überschwemmungen zeigt, sind diese jahreszeitlich beeinflussten Wasserreserven allen Anscheins nach vom Klimawandel betroffen, mit negativen Auswirkungen für die flussabwärts liegenden Stromgebiete und demzufolge die dortige Nahrungsmittelsicherheit. Das internationale Kooperationsprojekt CEOP-AEGIS – finanziert von der Europäischen Kommission unter dem Siebten Rahmenprogramm – hat sich deshalb zum Ziel gesetzt, die Hydrologie und Meteorologie dieses Hochplateaus weiter zu erforschen, um daraus seine Rolle in Bezug auf das Klima, den Monsun und den zunehmenden extremen Wetterereignissen tiefgreifender verstehen zu können. Im Rahmen dieses Projektes werden verschiedenartigste Erdbeobachtungsdaten von Fernerkundungssystemen, numerischen Simulationen und Bodenstationsmessungen gesammelt und ausgewertet. Sämtliche Endprodukte des CEOP-AEGIS Projektes werden der wissenschaftlichen Gemeinschaft auf Grundlage einer über das Internet erreichbaren Datenbank zugänglich gemacht, welche eine Zuarbeit zur Initiative GEOSS (Global Earth Observing System of Systems) ist. Hintergründig basiert das CEOP-AEGIS Datenportal auf einem Dapper OPeNDAP Internetserver, welcher die im NetCDF Dateiformat gespeicherten Daten der vordergründigen internetbasierten DChart Benutzerschnittstelle auf Grundlage des OPeNDAP Protokolls bereit stellt. Eingangsdaten von Partnern dieses Projektes sind heterogen nicht nur in Bezug ihres Dateninhalts, sondern auch in Anbetracht ihrer Datenhaltung und Metadatenbeschreibung. Die Daten- und Metadatenhaltung der im NetCDF Dateiformat gespeicherten Endprodukte dieses Projektes müssen jedoch auf einer standardisierten Basis internationalen Konventionen folgen, damit ein hoher Grad an Interoperabilität erreicht werden kann. In Anbetracht dieser Qualitätsanforderungen wurden die technischen Möglichkeiten von NetCDF, OPeNDAP, Dapper und DChart in dieser Diplomarbeit gründlich untersucht, damit auf Grundlage dieser Erkenntnisse eine korrekte Entscheidung bezüglich der Implementierung eines für CEOP-AEGIS Daten passenden und interoperablen NetCDF Datenmodels abgeleitet werden kann, das eine maximale Kompatibilität und Funktionalität mit OPeNDAP und Dapper / DChart sicher stellen soll. Diese NetCDF Implementierung ist Bestandteil einer neu entwickelten Datenschnittstelle, welche heterogene Daten von Projektpartnern in standardisierte NetCDF Datensätze konvertiert und aggregiert, sodass diese mittels OPeNDAP dem auf der Dapper / DChart Technologie basierendem Datenportal von CEOP-AEGIS zugeführt werden können. Einen besonderen Schwerpunkt bei der Entwicklung dieser Datenschnittstelle wurde auf eine intermediäre Daten- und Metadatenhaltung gelegt, welche mit der Zielsetzung von geringem Arbeitsaufwand die Modifizierung ihrer Elemente und somit die Erzeugung von standardisierten NetCDF Dateien auf eine einfache Art und Weise erlaubt. In Anbetracht der beträchtlichen und verschiedenartigsten Geodaten dieses Projektes war es schlussendlich wesentlich, eine hochwertige Datenschnittstelle zur Überführung heterogener Eingangsdaten von Projektpartnern in standardisierte und aggregierte NetCDF Ausgansdateien zu entwickeln, um damit eine maximale Kompatibilität und Funktionalität mit dem CEOP-AEGIS Datenportal und daraus folgend ein hohes Maß an Interoperabilität innerhalb der wissenschaftlichen Gemeinschaft erzielen zu können.

The Tibetan Plateau with an extent of about 2,5 million square kilometers at an average altitude higher than 4,700 meters has a significant impact on the Asian monsoon and regulates with its snow and ice reserves the upstream headwaters of seven major south-east Asian rivers. Upon the water supply of these rivers depend over 1,4 billion people, the agriculture, the economics, and the entire ecosystem in this region. As the increasing number of floods and droughts show, these seasonal water reserves however are likely to be influenced by climate change, with negative effects for the downstream water supply and subsequently the food security. The international cooperation project CEOP-AEGIS – funded by the European Commission under the Seventh Framework Program – aims as a result to improve the knowledge of the hydrology and meteorology of the Qinghai-Tibetan Plateau to further understand its role in climate, monsoon and increasing extreme meteorological events. Within the framework of this project, a large variety of earth observation datasets from remote sensing products, model outputs and in-situ ground station measurements are collected and evaluated. Any foreground products of CEOP-AEGIS will have to be made available to the scientific community by an online data repository which is a contribution to the Global Earth Observation System of Systems (GEOSS). The back-end of the CEOP-AEGIS Data Portal relies on a Dapper OPeNDAP web server that serves data stored in the NetCDF file format to a DChart client front-end as web-based user interface. Data from project partners are heterogeneous in its content, and also in its type of storage and metadata description. However NetCDF project output data and metadata has to be standardized and must follow international conventions to achieve a high level of interoperability. Out of these needs, the capabilities of NetCDF, OPeNDAP, Dapper and DChart were profoundly evaluated in order to take correct decisions for implementing a suitable and interoperable NetCDF data model for CEOP-AEGIS data that allows a maximum of compatibility and functionality to OPeNDAP and Dapper / DChart as well. This NetCDF implementation is part of a newly developed upstream data interface that converts and aggregates heterogeneous input data of project partners to standardized NetCDF datasets, so that they can be feed via OPeNDAP to the CEOP-AEGIS Data Portal based on the Dapper / DChart technology. A particular focus in the design of this data interface was set to an intermediate data and metadata representation that easily allows to modify its elements with the scope of achieving standardized NetCDF files in a simple way. Considering the extensive variety and amount of data within this project, it was essential to properly design a data interface that converts heterogeneous input data of project partners to standardized and aggregated NetCDF output files in order to ensure maximum compatibility and functionality within the CEOP-AEGIS Data Portal and subsequently interoperability within the scientific community.:Task of Diploma Thesis ii Declaration of academic honesty vii Abstract ix Acknowledgments xiii Dedication xv Table of Contents xvii List of Figures xxi List of Tables xxiii List of Listings xxv Nomenclature xxvii 1 Introduction 1 1.1 CEOP-AEGIS project . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 Objective of this thesis . . . . . . . . . . . . . . . . . . . . . . 8 1.4 Structure of this work . . . . . . . . . . . . . . . . . . . . . . 10 2 Theoretical foundations 13 2.1 NetCDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.1.1 Data models . . . . . . . . . . . . . . . . . . . . . . . . 16 2.1.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.3 Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.4 Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.1.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.1.6 NetCDF 3 . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.1.7 NetCDF 4 . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.1.8 Common Data Model . . . . . . . . . . . . . . . . . . . 31 2.1.9 NetCDF libraries and APIs . . . . . . . . . . . . . . . 33 2.1.10 NetCDF utilities . . . . . . . . . . . . . . . . . . . . . 34 2.1.11 NetCDF textual representations . . . . . . . . . . . . . 35 2.1.12 NetCDF conventions . . . . . . . . . . . . . . . . . . . 36 2.2 OPeNDAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . 41 2.2.2 OPeNDAP servers . . . . . . . . . . . . . . . . . . . . 42 2.2.3 OPeNDAP clients . . . . . . . . . . . . . . . . . . . . . 47 2.2.4 Data Access Protocol . . . . . . . . . . . . . . . . . . . 48 2.2.5 OPeNDAP data models and data types . . . . . . . . . 49 2.2.6 OPeNDAP and NetCDF . . . . . . . . . . . . . . . . . 53 2.3 Dapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 2.3.1 Climate Data Portal . . . . . . . . . . . . . . . . . . . 57 2.3.2 System architecture and Dapper services . . . . . . . . 58 2.3.3 Data aggregation . . . . . . . . . . . . . . . . . . . . . 60 2.3.4 Supported conventions of Dapper . . . . . . . . . . . . 61 2.4 DChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.4.1 Design goals . . . . . . . . . . . . . . . . . . . . . . . . 63 2.4.2 Functionality . . . . . . . . . . . . . . . . . . . . . . . 63 2.4.3 System architecture . . . . . . . . . . . . . . . . . . . . 64 2.5 Dapper and DChart configuration . . . . . . . . . . . . . . . . 66 2.5.1 License and release notes . . . . . . . . . . . . . . . . . 67 2.5.2 Dapper and DChart system requirements . . . . . . . . 67 3 Implementation 69 3.1 Scientific data types . . . . . . . . . . . . . . . . . . . . . . . 69 3.1.1 Gridded data . . . . . . . . . . . . . . . . . . . . . . . 70 3.1.2 In-situ data . . . . . . . . . . . . . . . . . . . . . . . . 71 3.2 NetCDF for CEOP-AEGIS . . . . . . . . . . . . . . . . . . . . 71 3.2.1 CF Climate and Forecast Convention . . . . . . . . . . 73 3.2.2 Dapper In-situ Convention . . . . . . . . . . . . . . . . 80 3.2.3 NetCDF implementation for CEOP-AEGIS . . . . . . 89 3.3 CEOP-AEGIS Data Interface . . . . . . . . . . . . . . . . . . 93 3.3.1 Intermediate data model . . . . . . . . . . . . . . . . . 95 3.3.2 Data Interface dependencies . . . . . . . . . . . . . . . 98 3.3.3 Data Interface usage . . . . . . . . . . . . . . . . . . . 98 3.3.4 Data Interface modules . . . . . . . . . . . . . . . . . . 105 3.4 Final products . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4 Conclusion 111 4.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 A Appendix 119 A.1 CD-ROM of project data . . . . . . . . . . . . . . . . . . . . . 119 A.2 Flood occurrence maps . . . . . . . . . . . . . . . . . . . . . . 121 A.2.1 Flood occurrence May . . . . . . . . . . . . . . . . . . 122 A.2.2 Flood occurrence August . . . . . . . . . . . . . . . . . 123 A.3 CEOP-AEGIS Data Portal . . . . . . . . . . . . . . . . . . . . 124 A.3.1 Capture image of CEOP-AEGIS Data Portal . . . . . . 125 A.3.2 Dapper configuration file . . . . . . . . . . . . . . . . . 126 A.3.3 DChart configuration file . . . . . . . . . . . . . . . . . 127 A.4 NetCDF data models for CEOP-AEGIS . . . . . . . . . . . . 130 A.4.1 Data model for gridded data . . . . . . . . . . . . . . . 131 A.4.2 Data model for in-situ data . . . . . . . . . . . . . . . 132 A.5 Upstream data interface . . . . . . . . . . . . . . . . . . . . . 133 A.5.1 Data Interface and service chain . . . . . . . . . . . . . 134 A.5.2 Data Interface data flow . . . . . . . . . . . . . . . . . 135 A.5.3 Data Interface data flow 2 . . . . . . . . . . . . . . . . 136 A.5.4 Data Interface modules and classes . . . . . . . . . . . 137 A.5.5 Data Interface NetCDF metadata file for gridded data 138 A.5.6 Data Interface NetCDF metadata file for in-situ data . 139 A.5.7 Data Interface coordinate metadata file for gridded data140 A.5.8 Data Interface coordinate metadata file for in-situ data 140 A.5.9 Data Interface UI main program . . . . . . . . . . . . . 141 A.5.10 Data Interface UI GrADS component . . . . . . . . . . 142 A.5.11 Data Interface UI GDAL component . . . . . . . . . . 143 A.5.12 Data Interface UI CSV component . . . . . . . . . . . 144 A.5.13 Data Interface settings file for gridded data . . . . . . . 145 A.5.14 Data Interface settings file for in-situ data . . . . . . . 146 A.5.15 Data Interface batch file for data conversion via GrADS146 A.5.16 Data Interface batch file for data conversion via GDAL 147 A.5.17 Data Interface batch file for data conversion via CSV . 148 A.6 Pydoc documentation for upstream data interface . . . . . . . 149 A.6.1 grads_2Interface.py . . . . . . . . . . . . . . . . . . . . 150 A.6.2 gdal_2Interface.py . . . . . . . . . . . . . . . . . . . . 155 A.6.3 csv_2Interface.py . . . . . . . . . . . . . . . . . . . . . 162 A.6.4 interface_Main.py . . . . . . . . . . . . . . . . . . . . 167 A.6.5 interface_Settings.py . . . . . . . . . . . . . . . . . . . 172 A.6.6 interface_Control.py . . . . . . . . . . . . . . . . . . . 175 A.6.7 interface_Model.py . . . . . . . . . . . . . . . . . . . . 179 A.6.8 interface_ModelUtilities.py . . . . . . . . . . . . . . . 185 A.6.9 interface_Data.py . . . . . . . . . . . . . . . . . . . . . 189 A.6.10 interface_ProcessingTools.py . . . . . . . . . . . . . . 191 Bibliography 197 Index 205 / Das Hochplateau von Tibet mit einer Ausdehnung von 2.5 Millionen Quadratkilometer und einer durchschnittlichen Höhe von über 4 700 Meter beeinflusst wesentlich den asiatischen Monsun und reguliert mit seinen Schnee- und Eisreserven den Wasserhaushalt der Oberläufe der sieben wichtigsten Flüsse Südostasiens. Von diesem Wasserzufluss leben 1.4 Milliarden Menschen und hängt neben dem Ackerbau und der Wirtschaft das gesamte Ökosystem in dieser Gegend ab. Wie die zunehmende Zahl an Dürren und Überschwemmungen zeigt, sind diese jahreszeitlich beeinflussten Wasserreserven allen Anscheins nach vom Klimawandel betroffen, mit negativen Auswirkungen für die flussabwärts liegenden Stromgebiete und demzufolge die dortige Nahrungsmittelsicherheit. Das internationale Kooperationsprojekt CEOP-AEGIS – finanziert von der Europäischen Kommission unter dem Siebten Rahmenprogramm – hat sich deshalb zum Ziel gesetzt, die Hydrologie und Meteorologie dieses Hochplateaus weiter zu erforschen, um daraus seine Rolle in Bezug auf das Klima, den Monsun und den zunehmenden extremen Wetterereignissen tiefgreifender verstehen zu können. Im Rahmen dieses Projektes werden verschiedenartigste Erdbeobachtungsdaten von Fernerkundungssystemen, numerischen Simulationen und Bodenstationsmessungen gesammelt und ausgewertet. Sämtliche Endprodukte des CEOP-AEGIS Projektes werden der wissenschaftlichen Gemeinschaft auf Grundlage einer über das Internet erreichbaren Datenbank zugänglich gemacht, welche eine Zuarbeit zur Initiative GEOSS (Global Earth Observing System of Systems) ist. Hintergründig basiert das CEOP-AEGIS Datenportal auf einem Dapper OPeNDAP Internetserver, welcher die im NetCDF Dateiformat gespeicherten Daten der vordergründigen internetbasierten DChart Benutzerschnittstelle auf Grundlage des OPeNDAP Protokolls bereit stellt. Eingangsdaten von Partnern dieses Projektes sind heterogen nicht nur in Bezug ihres Dateninhalts, sondern auch in Anbetracht ihrer Datenhaltung und Metadatenbeschreibung. Die Daten- und Metadatenhaltung der im NetCDF Dateiformat gespeicherten Endprodukte dieses Projektes müssen jedoch auf einer standardisierten Basis internationalen Konventionen folgen, damit ein hoher Grad an Interoperabilität erreicht werden kann. In Anbetracht dieser Qualitätsanforderungen wurden die technischen Möglichkeiten von NetCDF, OPeNDAP, Dapper und DChart in dieser Diplomarbeit gründlich untersucht, damit auf Grundlage dieser Erkenntnisse eine korrekte Entscheidung bezüglich der Implementierung eines für CEOP-AEGIS Daten passenden und interoperablen NetCDF Datenmodels abgeleitet werden kann, das eine maximale Kompatibilität und Funktionalität mit OPeNDAP und Dapper / DChart sicher stellen soll. Diese NetCDF Implementierung ist Bestandteil einer neu entwickelten Datenschnittstelle, welche heterogene Daten von Projektpartnern in standardisierte NetCDF Datensätze konvertiert und aggregiert, sodass diese mittels OPeNDAP dem auf der Dapper / DChart Technologie basierendem Datenportal von CEOP-AEGIS zugeführt werden können. Einen besonderen Schwerpunkt bei der Entwicklung dieser Datenschnittstelle wurde auf eine intermediäre Daten- und Metadatenhaltung gelegt, welche mit der Zielsetzung von geringem Arbeitsaufwand die Modifizierung ihrer Elemente und somit die Erzeugung von standardisierten NetCDF Dateien auf eine einfache Art und Weise erlaubt. In Anbetracht der beträchtlichen und verschiedenartigsten Geodaten dieses Projektes war es schlussendlich wesentlich, eine hochwertige Datenschnittstelle zur Überführung heterogener Eingangsdaten von Projektpartnern in standardisierte und aggregierte NetCDF Ausgansdateien zu entwickeln, um damit eine maximale Kompatibilität und Funktionalität mit dem CEOP-AEGIS Datenportal und daraus folgend ein hohes Maß an Interoperabilität innerhalb der wissenschaftlichen Gemeinschaft erzielen zu können.:Task of Diploma Thesis ii Declaration of academic honesty vii Abstract ix Acknowledgments xiii Dedication xv Table of Contents xvii List of Figures xxi List of Tables xxiii List of Listings xxv Nomenclature xxvii 1 Introduction 1 1.1 CEOP-AEGIS project . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 Objective of this thesis . . . . . . . . . . . . . . . . . . . . . . 8 1.4 Structure of this work . . . . . . . . . . . . . . . . . . . . . . 10 2 Theoretical foundations 13 2.1 NetCDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.1.1 Data models . . . . . . . . . . . . . . . . . . . . . . . . 16 2.1.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.3 Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.4 Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.1.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.1.6 NetCDF 3 . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.1.7 NetCDF 4 . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.1.8 Common Data Model . . . . . . . . . . . . . . . . . . . 31 2.1.9 NetCDF libraries and APIs . . . . . . . . . . . . . . . 33 2.1.10 NetCDF utilities . . . . . . . . . . . . . . . . . . . . . 34 2.1.11 NetCDF textual representations . . . . . . . . . . . . . 35 2.1.12 NetCDF conventions . . . . . . . . . . . . . . . . . . . 36 2.2 OPeNDAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . 41 2.2.2 OPeNDAP servers . . . . . . . . . . . . . . . . . . . . 42 2.2.3 OPeNDAP clients . . . . . . . . . . . . . . . . . . . . . 47 2.2.4 Data Access Protocol . . . . . . . . . . . . . . . . . . . 48 2.2.5 OPeNDAP data models and data types . . . . . . . . . 49 2.2.6 OPeNDAP and NetCDF . . . . . . . . . . . . . . . . . 53 2.3 Dapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 2.3.1 Climate Data Portal . . . . . . . . . . . . . . . . . . . 57 2.3.2 System architecture and Dapper services . . . . . . . . 58 2.3.3 Data aggregation . . . . . . . . . . . . . . . . . . . . . 60 2.3.4 Supported conventions of Dapper . . . . . . . . . . . . 61 2.4 DChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.4.1 Design goals . . . . . . . . . . . . . . . . . . . . . . . . 63 2.4.2 Functionality . . . . . . . . . . . . . . . . . . . . . . . 63 2.4.3 System architecture . . . . . . . . . . . . . . . . . . . . 64 2.5 Dapper and DChart configuration . . . . . . . . . . . . . . . . 66 2.5.1 License and release notes . . . . . . . . . . . . . . . . . 67 2.5.2 Dapper and DChart system requirements . . . . . . . . 67 3 Implementation 69 3.1 Scientific data types . . . . . . . . . . . . . . . . . . . . . . . 69 3.1.1 Gridded data . . . . . . . . . . . . . . . . . . . . . . . 70 3.1.2 In-situ data . . . . . . . . . . . . . . . . . . . . . . . . 71 3.2 NetCDF for CEOP-AEGIS . . . . . . . . . . . . . . . . . . . . 71 3.2.1 CF Climate and Forecast Convention . . . . . . . . . . 73 3.2.2 Dapper In-situ Convention . . . . . . . . . . . . . . . . 80 3.2.3 NetCDF implementation for CEOP-AEGIS . . . . . . 89 3.3 CEOP-AEGIS Data Interface . . . . . . . . . . . . . . . . . . 93 3.3.1 Intermediate data model . . . . . . . . . . . . . . . . . 95 3.3.2 Data Interface dependencies . . . . . . . . . . . . . . . 98 3.3.3 Data Interface usage . . . . . . . . . . . . . . . . . . . 98 3.3.4 Data Interface modules . . . . . . . . . . . . . . . . . . 105 3.4 Final products . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4 Conclusion 111 4.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 A Appendix 119 A.1 CD-ROM of project data . . . . . . . . . . . . . . . . . . . . . 119 A.2 Flood occurrence maps . . . . . . . . . . . . . . . . . . . . . . 121 A.2.1 Flood occurrence May . . . . . . . . . . . . . . . . . . 122 A.2.2 Flood occurrence August . . . . . . . . . . . . . . . . . 123 A.3 CEOP-AEGIS Data Portal . . . . . . . . . . . . . . . . . . . . 124 A.3.1 Capture image of CEOP-AEGIS Data Portal . . . . . . 125 A.3.2 Dapper configuration file . . . . . . . . . . . . . . . . . 126 A.3.3 DChart configuration file . . . . . . . . . . . . . . . . . 127 A.4 NetCDF data models for CEOP-AEGIS . . . . . . . . . . . . 130 A.4.1 Data model for gridded data . . . . . . . . . . . . . . . 131 A.4.2 Data model for in-situ data . . . . . . . . . . . . . . . 132 A.5 Upstream data interface . . . . . . . . . . . . . . . . . . . . . 133 A.5.1 Data Interface and service chain . . . . . . . . . . . . . 134 A.5.2 Data Interface data flow . . . . . . . . . . . . . . . . . 135 A.5.3 Data Interface data flow 2 . . . . . . . . . . . . . . . . 136 A.5.4 Data Interface modules and classes . . . . . . . . . . . 137 A.5.5 Data Interface NetCDF metadata file for gridded data 138 A.5.6 Data Interface NetCDF metadata file for in-situ data . 139 A.5.7 Data Interface coordinate metadata file for gridded data140 A.5.8 Data Interface coordinate metadata file for in-situ data 140 A.5.9 Data Interface UI main program . . . . . . . . . . . . . 141 A.5.10 Data Interface UI GrADS component . . . . . . . . . . 142 A.5.11 Data Interface UI GDAL component . . . . . . . . . . 143 A.5.12 Data Interface UI CSV component . . . . . . . . . . . 144 A.5.13 Data Interface settings file for gridded data . . . . . . . 145 A.5.14 Data Interface settings file for in-situ data . . . . . . . 146 A.5.15 Data Interface batch file for data conversion via GrADS146 A.5.16 Data Interface batch file for data conversion via GDAL 147 A.5.17 Data Interface batch file for data conversion via CSV . 148 A.6 Pydoc documentation for upstream data interface . . . . . . . 149 A.6.1 grads_2Interface.py . . . . . . . . . . . . . . . . . . . . 150 A.6.2 gdal_2Interface.py . . . . . . . . . . . . . . . . . . . . 155 A.6.3 csv_2Interface.py . . . . . . . . . . . . . . . . . . . . . 162 A.6.4 interface_Main.py . . . . . . . . . . . . . . . . . . . . 167 A.6.5 interface_Settings.py . . . . . . . . . . . . . . . . . . . 172 A.6.6 interface_Control.py . . . . . . . . . . . . . . . . . . . 175 A.6.7 interface_Model.py . . . . . . . . . . . . . . . . . . . . 179 A.6.8 interface_ModelUtilities.py . . . . . . . . . . . . . . . 185 A.6.9 interface_Data.py . . . . . . . . . . . . . . . . . . . . . 189 A.6.10 interface_ProcessingTools.py . . . . . . . . . . . . . . 191 Bibliography 197 Index 205