Spelling suggestions: "subject:"[een] DATA MODEL"" "subject:"[enn] DATA MODEL""
171 |
Essays in dynamic panel data models and labor supplyNayihouba, Kolobadia Ada 08 1900 (has links)
Cette thèse est organisée en trois chapitres. Les deux premiers proposent
une approche régularisée pour l’estimation du modèle de données de panel
dynamique : l’estimateur GMM et l’estimateur LIML. Le dernier chapitre de
la thèse est une application de la méthode de régularisation à l’estimation
des élasticités de l’offre de travail en utilisant des modèles de pseudo-données
de panel.
Dans un modèle de panel dynamique, le nombre de conditions de moments
augmente rapidement avec la dimension temporelle du panel conduisant à
une matrice de covariance des instruments de grande dimension. L’inversion
d’une telle matrice pour calculer l’estimateur affecte négativement les propriétés
de l’estimateur en échantillon fini. Comme solution à ce problème,
nous proposons une approche par la régularisation qui consiste à utiliser une
inverse généralisée de la matrice de covariance au lieu de son inverse classique.
Trois techniques de régularisation sont utilisées : celle des composantes
principales, celle de Tikhonov qui est basée sur le Ridge régression (aussi appelée
Bayesian shrinkage) et enfin celle de Landweber Fridman qui est une
méthode itérative. Toutes ces techniques introduisent un paramètre de régularisation
qui est similaire au paramètre de lissage dans les régressions non
paramétriques. Les propriétés en echantillon fini de l’estimateur régularisé
dépend de ce paramètre qui doit être sélectionné parmis plusieurs valeurs
potentielles.
Dans le premier chapitre (co-écrit avec Marine Carrasco), nous proposons
l’estimateur GMM régularisé du modèle de panel dynamique. Sous l’hypothèse
que le nombre d’individus et de périodes du panel tendent vers l’infini,
nous montrons que nos estimateurs sont convergents and assymtotiquement
normaux. Nous dérivons une méthode empirique de sélection du paramètrede régularisation basée sur une expansion de second ordre du l’erreur quadratique
moyenne et nous démontrons l’optimalité de cette procédure de sélection.
Les simulations montrent que la régularisation améliore les propriétés
de l ’estimateur GMM classique. Comme application empirique, nous avons
analysé l’effet du développement financier sur la croissance économique.
Dans le deuxième chapitre (co-écrit avec Marine Carrasco), nous nous intéressons
à l’estimateur LIML régularisé du modèle de données de panel
dynamique. L’estimateur LIML est connu pour avoir de meilleures propriétés
en échantillon fini que l’estimateur GMM mais son utilisation devient
problématique lorsque la dimension temporelle du panel devient large. Nous
dérivons les propriétes assymtotiques de l’estimateur LIML régularisé sous
l’hypothèse que le nombre d’individus et de périodes du panel tendent vers
l’infini. Une procédure empirique de sélection du paramètre de régularisation
est aussi proposée. Les bonnes performances de l’estimateur régularisé par
rapport au LIML classique (non régularisé), au GMM classique ainsi que le
GMM régularisé sont confirmées par des simulations.
Dans le dernier chapitre, je considère l’estimation des élasticités d’offre de travail
des hommes canadiens. L’hétérogéneité inobservée ainsi que les erreurs de
mesures sur les salaires et les revenus sont connues pour engendrer de l’endogéneité
quand on estime les modèles d’offre de travail. Une solution fréquente
à ce problème d’endogéneité consiste à régrouper les données sur la base des
carastéristiques observables et d’ éffectuer les moindres carrées pondérées sur
les moyennes des goupes. Il a été démontré que cet estimateur est équivalent
à l’estimateur des variables instrumentales sur les données individuelles avec
les indicatrices de groupe comme instruments. Donc, en présence d’un grand
nombre de groupe, cet estimateur souffre de biais en échantillon fini similaire
à celui de l’estimateur des variables instrumentales quand le nombre d’instruments
est élevé. Profitant de cette correspondance entre l’estimateur sur
les données groupées et l’estimateur des variables instrumentales sur les données
individuelles, nous proposons une approche régularisée à l’estimation du
modèle. Cette approche conduit à des élasticités substantiellement différentes
de ceux qu’on obtient en utilisant l’estimateur sur données groupées. / This thesis is organized in three chapters. The first two chapters propose
a regularization approach to the estimation of two estimators of the dynamic
panel data model : the Generalized Method of Moment (GMM) estimator
and the Limited Information Maximum Likelihood (LIML) estimator. The
last chapter of the thesis is an application of regularization to the estimation
of labor supply elasticities using pseudo panel data models.
In a dynamic panel data model, the number of moment conditions increases
rapidly with the time dimension, resulting in a large dimensional covariance
matrix of the instruments. Inverting this large dimensional matrix to compute
the estimator leads to poor finite sample properties. To address this
issue, we propose a regularization approach to the estimation of such models
where a generalized inverse of the covariance matrix of the intruments is used
instead of its usual inverse. Three regularization schemes are used : Principal
components, Tikhonov which is based on Ridge regression (also called Bayesian
shrinkage) and finally Landweber Fridman which is an iterative method.
All these methods involve a regularization parameter which is similar to the
smoothing parameter in nonparametric regressions. The finite sample properties
of the regularized estimator depends on this parameter which needs
to be selected between many potential values.
In the first chapter (co-authored with Marine Carrasco), we propose the regularized
GMM estimator of the dynamic panel data models. Under double
asymptotics, we show that our regularized estimators are consistent and
asymptotically normal provided that the regularization parameter goes to
zero slower than the sample size goes to infinity. We derive a data driven
selection of the regularization parameter based on an approximation of the
higher-order Mean Square Error and show its optimality. The simulations confirm that regularization improves the properties of the usual GMM estimator.
As empirical application, we investigate the effect of financial development
on economic growth.
In the second chapter (co-authored with Marine Carrasco), we propose the
regularized LIML estimator of the dynamic panel data model. The LIML
estimator is known to have better small sample properties than the GMM
estimator but its implementation becomes problematic when the time dimension
of the panel becomes large. We derive the asymptotic properties of
the regularized LIML under double asymptotics. A data-driven procedure to
select the parameter of regularization is proposed. The good performances
of the regularized LIML estimator over the usual (not regularized) LIML estimator,
the usual GMM estimator and the regularized GMM estimator are
confirmed by the simulations.
In the last chapter, I consider the estimation of the labor supply elasticities
of Canadian men through a regularization approach. Unobserved heterogeneity
and measurement errors on wage and income variables are known to
cause endogeneity issues in the estimation of labor supply models. A popular
solution to the endogeneity issue is to group data in categories based
on observable characteristics and compute the weighted least squares at the
group level. This grouping estimator has been proved to be equivalent to instrumental
variables (IV) estimator on the individual level data using group
dummies as intruments. Hence, in presence of large number of groups, the
grouping estimator exhibites a small bias similar to the one of the IV estimator
in presence of many instruments. I take advantage of the correspondance
between grouping estimators and the IV estimator to propose a regularization
approach to the estimation of the model. Using this approach leads to
wage elasticities that are substantially different from those obtained through
grouping estimators.
|
172 |
Auswertungen zum Gebäudebestand in Deutschland auf Grundlage digitaler GeobasisdatenBehnisch, Martin, Meinel, Gotthard, Burckhardt, Manuel, Hecht, Robert January 2012 (has links)
Das Leibniz-Institut für ökologische Raumentwicklung (IÖR) verfolgt u. a. das Ziel, präzise Kenntnisse über das Mengengerüst des deutschen Gebäudebestandes und seiner Eigenschaften zu gewinnen und räumlich hochauflösende Indikatoren als Grundlage einer nachhaltigen Raumentwicklung für Planer und Entscheidungsträger zu erarbeiten.
Dieser Beitrag fokussiert auf Ansätze der räumlichen Analyse, die eine Quantifizierung und Charakterisierung des Gesamtbestandes von Wohn- und Nichtwohngebäuden unterstützen. Vorgestellt werden erste Ergebnisse einer deutschlandweiten Auswertung amtlicher Hauskoordinaten und Hausumringe. Der Gebäudebestand wird nach Bundesländern und nach Raumstrukturtypen des Bundesinstituts für Bau-, Stadt- und Raumforschung (BBSR) gegliedert. Es besteht Bedarf, nicht nur Datenmodelle zu entwickeln, sondern daraus auch Erklärungs- und Messmodelle abzuleiten, die einen expliziten Raumbezug aufweisen und sich zur bestandsorientierten Wissensgewinnung sowie zur Strategieentwicklung eignen – auch im europäischen Kontext.
|
173 |
Measures of University Research OutputZharova, Alona 14 February 2018 (has links)
New Public Management unterstützt Universitäten und Forschungseinrichtungen dabei, in einem stark wettbewerbsorientierten Forschungsumfeld zu bestehen. Entscheidungen unter Unsicherheit, z.B. die Verteilung von Mitteln für den Forschungsbedarf und Forschungszwecke, erfordert von Politik und Hochschulmanagement, die Beziehungen zwischen den Dimensionen der Forschungsleistung und den resultierenden oder eingehenden Zuschüssen zu verstehen. Hierfür ist es wichtig, die Variablen der wissenschaftlichen Wissensproduktion auf der Ebene von Individuen, Forschungsgruppen und Universitäten zu untersuchen.
Das Kapitel 2 dieser Arbeit analysiert die Ebene der Individuen. Es verwendet die Beobachtungen der Forscherprofile von Handelsblatt (HB), Research Papers in Economics (RePEc, hier RP) und Google Scholar (GS) als meist verbreitete Ranking-Systeme in BWL und VWL im deutschsprachigen Raum.
Das Kapitel 3 liefert eine empirische Evidenz für die Ebene von Forschungsgruppen und verwendet die Daten eines Sonderforschungsbereichs (SFB) zu Finanzinputs und Forschungsoutput von 2005 bis 2016. Das Kapitel beginnt mit der Beschreibung passender Performanzindikatoren, gefolgt von einer innovativen visuellen Datenanalyse. Im Hauptteil des Kapitels untersucht die Arbeit mit Hilfe eines Zeit-Fixed-Effects-Panel- Modells und eines Fixed-Effects-Poisson-Modells den Zusammenhang zwischen finanziellen Inputs und Forschungsoutputs.
Das Kapitel 4 beschäftigt sich mit dem Niveau der Universitäten und untersucht die Interdependenzstruktur zwischen Drittmittelausgaben, Publikationen, Zitationen und akademischem Alter mit Hilfe eines PVARX-Modells, einer Impulsantwort und einer Zerlegung der Prognosefehlervarianz. Abschließend befasst sich das Kapitel mit den möglichen Implikationen für Politik und Entscheidungsfindung und schlägt Empfehlungen für das universitäre Forschungsmanagement vor. / New Public Management helps universities and research institutions to perform in a highly competitive research environment. Decision making in the face of uncertainty, for example distribution of funds for research needs and purposes, urges research policy makers and university managers to understand the relationships between the dimensions of research performance and the resulting or incoming grants. Thus, it is important to accurately reflect the variables of scientific knowledge production on the level of individuals, research groups and universities.
Chapter 2 of this thesis introduces an analysis on the level of individuals. The data are taken from the three widely-used ranking systems in the economic and business sciences among German-speaking countries: Handelsblatt (HB), Research Papers in Economics (RePEc, here RP) and Google Scholar (GS). It proposes a framework for collating ranking data for comparison purposes.
Chapter 3 provides empirical evidence on the level of research groups using data from a Collaborative Research Center (CRC) on financial inputs and research output from 2005 to 2016. First, suitable performance indicators are discussed. Second, main properties of the data are described using visualization techniques. Finally, the time fixed effects panel data model and the fixed effects Poisson model are used to analyze an interdependency between financial inputs and research outputs.
Chapter 4 examines the interdependence structure between third-party expenses (TPE), publications, citations and academic age using university data on individual performance in different scientific areas. A panel vector autoregressive model with exogenous variables (PVARX), impulse response functions and a forecast error variance decomposition help to capture the relationships in the system. To summarize, the chapter addresses the possible implications for policy and decision making and proposes recommendations for university research management.
|
174 |
租稅與經濟成長,地方政府財政與技術效率論文集王肇蘭, Wang ,Chao Lan Unknown Date (has links)
人類慾望無窮而資源有限,所以如何將資源做最有效的使用一直是經濟學所追求的課題。有關效率的規範分析中,巴瑞圖最適(Pareto optimality)為接受度最高的準則。基於巴瑞圖效率的觀點,不論是營利組織或非營利組織其經營之基本理念皆是希望以最少的投入獲得最大的產出,因此衡量投入與產出間之相對表現即為效率的評估。非營利組織及公共部門因為有許多產出、投入不易量化,故其效率不易評定。此一情況一直到DEA(Data Envelopment Analysis;資料包絡分析法)發展才逐漸改善。另外,有關DEA的運用幾乎都集中在個別決策單位的效率衡量,將之應用在衡量總體經濟的表現上非常少見。所以論文第肆章是按傳統方式以DEA衡量我國地方政府的效率並分析造成效率差異的原因,第參章則將DEA的概念應用於經濟成長上,探討使經濟成長達到極大化之租稅負擔及租稅結構。又效率的追求為經濟學的主軸,但中央政府的效率目標與地方政府並不相同,由於目標不同,因此彼此所訂的租稅政策亦不相同。本文第伍章試圖提出一理論模型說明中央政府在面對異質地區的垂直外部性下如何有效率的訂定其租稅政策。 / The human desires are infinite but resources are scarce. Using resources effectively is the topic of the economics. In efficient analyses, the Pareto optimality is the highest criterion to accept. Based on Pareto efficiency, the basic idea is to obtain the most outputs by the least inputs. Therefore the efficiency measurement is to calculate the relative performance of inputs and outputs. The nonprofit organization and the public agencies have many outputs and inputs not easy to be quantified; hence, their efficiency is not easy to evaluate. This phenomenon doesn’t improve until DEA (Data Envelopment Analysis) was developed. However, the application of DEA concentrates nearly on the efficiency measurement of individual policy-making unit; the application is be rarely used in measuring the performance of the macro-economy. Chapter 4 of this dissertation measures and explains the variation in cost efficiency of the local governments in Taiwan area. Chapter 3 deals with the application the DEA to economic growth, estimating a combination of the tax burden(the ratio of tax revenue to GDP)and the tax structure(the ratio of indirect taxes to direct taxes)which would maximize the rate of growth of GDP of Taiwan. Efficiency is the core of economics, but the national government’s efficient goal is not as same as the local government’s. Because their goals are not consistent, thus the tax policies are different. Chapter 5 attempts to propose a theoretical model to explain how a national or federal government decides its tax policy in the vertical externalities happening in heterogeneous states.
|
175 |
Development of an interface for the conversion of geodata in a NetCDF data model and publication of this data by the use of the web application DChart, related to the CEOP-AEGIS project / Entwicklung einer Schnittstelle zur Überführung von Geodaten des Projektes CEOP-AEGIS in ein NetCDF-Datenmodell und Publikation dieser Daten unter Verwendung der Internetanwendung DChartHolzer, Nicolai 08 August 2011 (has links) (PDF)
The Tibetan Plateau with an extent of about 2,5 million square kilometers at an average altitude higher than 4,700 meters has a significant impact on the Asian monsoon and regulates with its snow and ice reserves the upstream headwaters of seven major south-east Asian rivers. Upon the water supply of these rivers depend over 1,4 billion people, the agriculture, the economics, and the entire ecosystem in this region. As the increasing number of floods and droughts show, these seasonal water reserves however are likely to be influenced by climate change, with negative effects for the downstream water supply and subsequently the food security.
The international cooperation project CEOP-AEGIS – funded by the European Commission under the Seventh Framework Program – aims as a result to improve the knowledge of the hydrology and meteorology of the Qinghai-Tibetan Plateau to further understand its role in climate, monsoon and increasing extreme meteorological events. Within the framework of this project, a large variety of earth observation datasets from remote sensing products, model outputs and in-situ ground station measurements are collected and evaluated. Any foreground products of CEOP-AEGIS will have to be made available to the scientific community by an online data repository which is a contribution to the Global Earth Observation System of Systems (GEOSS). The back-end of the CEOP-AEGIS Data Portal relies on a Dapper OPeNDAP web server that serves data stored in the NetCDF file format to a DChart client front-end as web-based user interface. Data from project partners are heterogeneous in its content, and also in its type of storage and metadata description. However NetCDF project output data and metadata has to be standardized and must follow international conventions to achieve a high level of interoperability.
Out of these needs, the capabilities of NetCDF, OPeNDAP, Dapper and DChart were profoundly evaluated in order to take correct decisions for implementing a suitable and interoperable NetCDF data model for CEOP-AEGIS data that allows a maximum of compatibility and functionality to OPeNDAP and Dapper / DChart as well. This NetCDF implementation is part of a newly developed upstream data interface that converts and aggregates heterogeneous input data of project partners to standardized NetCDF datasets, so that they can be feed via OPeNDAP to the CEOP-AEGIS Data Portal based on the Dapper / DChart technology. A particular focus in the design of this data interface was set to an intermediate data and metadata representation that easily allows to modify its elements with the scope of achieving standardized NetCDF files in a simple way.
Considering the extensive variety and amount of data within this project, it was essential to properly design a data interface that converts heterogeneous input data of project partners to standardized and aggregated NetCDF output files in order to ensure maximum compatibility and functionality within the CEOP-AEGIS Data Portal and subsequently interoperability within the scientific community. / Das Hochplateau von Tibet mit einer Ausdehnung von 2.5 Millionen Quadratkilometer und einer durchschnittlichen Höhe von über 4 700 Meter beeinflusst wesentlich den asiatischen Monsun und reguliert mit seinen Schnee- und Eisreserven den Wasserhaushalt der Oberläufe der sieben wichtigsten Flüsse Südostasiens. Von diesem Wasserzufluss leben 1.4 Milliarden Menschen und hängt neben dem Ackerbau und der Wirtschaft das gesamte Ökosystem in dieser Gegend ab. Wie die zunehmende Zahl an Dürren und Überschwemmungen zeigt, sind diese jahreszeitlich beeinflussten Wasserreserven allen Anscheins nach vom Klimawandel betroffen, mit negativen Auswirkungen für die flussabwärts liegenden Stromgebiete und demzufolge die dortige Nahrungsmittelsicherheit.
Das internationale Kooperationsprojekt CEOP-AEGIS – finanziert von der Europäischen Kommission unter dem Siebten Rahmenprogramm – hat sich deshalb zum Ziel gesetzt, die Hydrologie und Meteorologie dieses Hochplateaus weiter zu erforschen, um daraus seine Rolle in Bezug auf das Klima, den Monsun und den zunehmenden extremen Wetterereignissen tiefgreifender verstehen zu können. Im Rahmen dieses Projektes werden verschiedenartigste Erdbeobachtungsdaten von Fernerkundungssystemen, numerischen Simulationen und Bodenstationsmessungen gesammelt und ausgewertet. Sämtliche Endprodukte des CEOP-AEGIS Projektes werden der wissenschaftlichen Gemeinschaft auf Grundlage einer über das Internet erreichbaren Datenbank zugänglich gemacht, welche eine Zuarbeit zur Initiative GEOSS (Global Earth Observing System of Systems) ist. Hintergründig basiert das CEOP-AEGIS Datenportal auf einem Dapper OPeNDAP Internetserver, welcher die im NetCDF Dateiformat gespeicherten Daten der vordergründigen internetbasierten DChart Benutzerschnittstelle auf Grundlage des OPeNDAP Protokolls bereit stellt. Eingangsdaten von Partnern dieses Projektes sind heterogen nicht nur in Bezug ihres Dateninhalts, sondern auch in Anbetracht ihrer Datenhaltung und Metadatenbeschreibung. Die Daten- und Metadatenhaltung der im NetCDF Dateiformat gespeicherten Endprodukte dieses Projektes müssen jedoch auf einer standardisierten Basis internationalen Konventionen folgen, damit ein hoher Grad an Interoperabilität erreicht werden kann.
In Anbetracht dieser Qualitätsanforderungen wurden die technischen Möglichkeiten von NetCDF, OPeNDAP, Dapper und DChart in dieser Diplomarbeit gründlich untersucht, damit auf Grundlage dieser Erkenntnisse eine korrekte Entscheidung bezüglich der Implementierung eines für CEOP-AEGIS Daten passenden und interoperablen NetCDF Datenmodels abgeleitet werden kann, das eine maximale Kompatibilität und Funktionalität mit OPeNDAP und Dapper / DChart sicher stellen soll. Diese NetCDF Implementierung ist Bestandteil einer neu entwickelten Datenschnittstelle, welche heterogene Daten von Projektpartnern in standardisierte NetCDF Datensätze konvertiert und aggregiert, sodass diese mittels OPeNDAP dem auf der Dapper / DChart Technologie basierendem Datenportal von CEOP-AEGIS zugeführt werden können. Einen besonderen Schwerpunkt bei der Entwicklung dieser Datenschnittstelle wurde auf eine intermediäre Daten- und Metadatenhaltung gelegt, welche mit der Zielsetzung von geringem Arbeitsaufwand die Modifizierung ihrer Elemente und somit die Erzeugung von standardisierten NetCDF Dateien auf eine einfache Art und Weise erlaubt.
In Anbetracht der beträchtlichen und verschiedenartigsten Geodaten dieses Projektes war es schlussendlich wesentlich, eine hochwertige Datenschnittstelle zur Überführung heterogener Eingangsdaten von Projektpartnern in standardisierte und aggregierte NetCDF Ausgansdateien zu entwickeln, um damit eine maximale Kompatibilität und Funktionalität mit dem CEOP-AEGIS Datenportal und daraus folgend ein hohes Maß an Interoperabilität innerhalb der wissenschaftlichen Gemeinschaft erzielen zu können.
|
176 |
Development of an interface for the conversion of geodata in a NetCDF data model and publication of this data by the use of the web application DChart, related to the CEOP-AEGIS projectHolzer, Nicolai 20 April 2011 (has links)
The Tibetan Plateau with an extent of about 2,5 million square kilometers at an average altitude higher than 4,700 meters has a significant impact on the Asian monsoon and regulates with its snow and ice reserves the upstream headwaters of seven major south-east Asian rivers. Upon the water supply of these rivers depend over 1,4 billion people, the agriculture, the economics, and the entire ecosystem in this region. As the increasing number of floods and droughts show, these seasonal water reserves however are likely to be influenced by climate change, with negative effects for the downstream water supply and subsequently the food security.
The international cooperation project CEOP-AEGIS – funded by the European Commission under the Seventh Framework Program – aims as a result to improve the knowledge of the hydrology and meteorology of the Qinghai-Tibetan Plateau to further understand its role in climate, monsoon and increasing extreme meteorological events. Within the framework of this project, a large variety of earth observation datasets from remote sensing products, model outputs and in-situ ground station measurements are collected and evaluated. Any foreground products of CEOP-AEGIS will have to be made available to the scientific community by an online data repository which is a contribution to the Global Earth Observation System of Systems (GEOSS). The back-end of the CEOP-AEGIS Data Portal relies on a Dapper OPeNDAP web server that serves data stored in the NetCDF file format to a DChart client front-end as web-based user interface. Data from project partners are heterogeneous in its content, and also in its type of storage and metadata description. However NetCDF project output data and metadata has to be standardized and must follow international conventions to achieve a high level of interoperability.
Out of these needs, the capabilities of NetCDF, OPeNDAP, Dapper and DChart were profoundly evaluated in order to take correct decisions for implementing a suitable and interoperable NetCDF data model for CEOP-AEGIS data that allows a maximum of compatibility and functionality to OPeNDAP and Dapper / DChart as well. This NetCDF implementation is part of a newly developed upstream data interface that converts and aggregates heterogeneous input data of project partners to standardized NetCDF datasets, so that they can be feed via OPeNDAP to the CEOP-AEGIS Data Portal based on the Dapper / DChart technology. A particular focus in the design of this data interface was set to an intermediate data and metadata representation that easily allows to modify its elements with the scope of achieving standardized NetCDF files in a simple way.
Considering the extensive variety and amount of data within this project, it was essential to properly design a data interface that converts heterogeneous input data of project partners to standardized and aggregated NetCDF output files in order to ensure maximum compatibility and functionality within the CEOP-AEGIS Data Portal and subsequently interoperability within the scientific community.:Task of Diploma Thesis ii
Declaration of academic honesty vii
Abstract ix
Acknowledgments xiii
Dedication xv
Table of Contents xvii
List of Figures xxi
List of Tables xxiii
List of Listings xxv
Nomenclature xxvii
1 Introduction 1
1.1 CEOP-AEGIS project . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Objective of this thesis . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Structure of this work . . . . . . . . . . . . . . . . . . . . . . 10
2 Theoretical foundations 13
2.1 NetCDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.1 Data models . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.4 Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.6 NetCDF 3 . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.7 NetCDF 4 . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.8 Common Data Model . . . . . . . . . . . . . . . . . . . 31
2.1.9 NetCDF libraries and APIs . . . . . . . . . . . . . . . 33
2.1.10 NetCDF utilities . . . . . . . . . . . . . . . . . . . . . 34
2.1.11 NetCDF textual representations . . . . . . . . . . . . . 35
2.1.12 NetCDF conventions . . . . . . . . . . . . . . . . . . . 36
2.2 OPeNDAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.2 OPeNDAP servers . . . . . . . . . . . . . . . . . . . . 42
2.2.3 OPeNDAP clients . . . . . . . . . . . . . . . . . . . . . 47
2.2.4 Data Access Protocol . . . . . . . . . . . . . . . . . . . 48
2.2.5 OPeNDAP data models and data types . . . . . . . . . 49
2.2.6 OPeNDAP and NetCDF . . . . . . . . . . . . . . . . . 53
2.3 Dapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.3.1 Climate Data Portal . . . . . . . . . . . . . . . . . . . 57
2.3.2 System architecture and Dapper services . . . . . . . . 58
2.3.3 Data aggregation . . . . . . . . . . . . . . . . . . . . . 60
2.3.4 Supported conventions of Dapper . . . . . . . . . . . . 61
2.4 DChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.4.1 Design goals . . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.2 Functionality . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.3 System architecture . . . . . . . . . . . . . . . . . . . . 64
2.5 Dapper and DChart configuration . . . . . . . . . . . . . . . . 66
2.5.1 License and release notes . . . . . . . . . . . . . . . . . 67
2.5.2 Dapper and DChart system requirements . . . . . . . . 67
3 Implementation 69
3.1 Scientific data types . . . . . . . . . . . . . . . . . . . . . . . 69
3.1.1 Gridded data . . . . . . . . . . . . . . . . . . . . . . . 70
3.1.2 In-situ data . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2 NetCDF for CEOP-AEGIS . . . . . . . . . . . . . . . . . . . . 71
3.2.1 CF Climate and Forecast Convention . . . . . . . . . . 73
3.2.2 Dapper In-situ Convention . . . . . . . . . . . . . . . . 80
3.2.3 NetCDF implementation for CEOP-AEGIS . . . . . . 89
3.3 CEOP-AEGIS Data Interface . . . . . . . . . . . . . . . . . . 93
3.3.1 Intermediate data model . . . . . . . . . . . . . . . . . 95
3.3.2 Data Interface dependencies . . . . . . . . . . . . . . . 98
3.3.3 Data Interface usage . . . . . . . . . . . . . . . . . . . 98
3.3.4 Data Interface modules . . . . . . . . . . . . . . . . . . 105
3.4 Final products . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 Conclusion 111
4.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
A Appendix 119
A.1 CD-ROM of project data . . . . . . . . . . . . . . . . . . . . . 119
A.2 Flood occurrence maps . . . . . . . . . . . . . . . . . . . . . . 121
A.2.1 Flood occurrence May . . . . . . . . . . . . . . . . . . 122
A.2.2 Flood occurrence August . . . . . . . . . . . . . . . . . 123
A.3 CEOP-AEGIS Data Portal . . . . . . . . . . . . . . . . . . . . 124
A.3.1 Capture image of CEOP-AEGIS Data Portal . . . . . . 125
A.3.2 Dapper configuration file . . . . . . . . . . . . . . . . . 126
A.3.3 DChart configuration file . . . . . . . . . . . . . . . . . 127
A.4 NetCDF data models for CEOP-AEGIS . . . . . . . . . . . . 130
A.4.1 Data model for gridded data . . . . . . . . . . . . . . . 131
A.4.2 Data model for in-situ data . . . . . . . . . . . . . . . 132
A.5 Upstream data interface . . . . . . . . . . . . . . . . . . . . . 133
A.5.1 Data Interface and service chain . . . . . . . . . . . . . 134
A.5.2 Data Interface data flow . . . . . . . . . . . . . . . . . 135
A.5.3 Data Interface data flow 2 . . . . . . . . . . . . . . . . 136
A.5.4 Data Interface modules and classes . . . . . . . . . . . 137
A.5.5 Data Interface NetCDF metadata file for gridded data 138
A.5.6 Data Interface NetCDF metadata file for in-situ data . 139
A.5.7 Data Interface coordinate metadata file for gridded data140
A.5.8 Data Interface coordinate metadata file for in-situ data 140
A.5.9 Data Interface UI main program . . . . . . . . . . . . . 141
A.5.10 Data Interface UI GrADS component . . . . . . . . . . 142
A.5.11 Data Interface UI GDAL component . . . . . . . . . . 143
A.5.12 Data Interface UI CSV component . . . . . . . . . . . 144
A.5.13 Data Interface settings file for gridded data . . . . . . . 145
A.5.14 Data Interface settings file for in-situ data . . . . . . . 146
A.5.15 Data Interface batch file for data conversion via GrADS146
A.5.16 Data Interface batch file for data conversion via GDAL 147
A.5.17 Data Interface batch file for data conversion via CSV . 148
A.6 Pydoc documentation for upstream data interface . . . . . . . 149
A.6.1 grads_2Interface.py . . . . . . . . . . . . . . . . . . . . 150
A.6.2 gdal_2Interface.py . . . . . . . . . . . . . . . . . . . . 155
A.6.3 csv_2Interface.py . . . . . . . . . . . . . . . . . . . . . 162
A.6.4 interface_Main.py . . . . . . . . . . . . . . . . . . . . 167
A.6.5 interface_Settings.py . . . . . . . . . . . . . . . . . . . 172
A.6.6 interface_Control.py . . . . . . . . . . . . . . . . . . . 175
A.6.7 interface_Model.py . . . . . . . . . . . . . . . . . . . . 179
A.6.8 interface_ModelUtilities.py . . . . . . . . . . . . . . . 185
A.6.9 interface_Data.py . . . . . . . . . . . . . . . . . . . . . 189
A.6.10 interface_ProcessingTools.py . . . . . . . . . . . . . . 191
Bibliography 197
Index 205 / Das Hochplateau von Tibet mit einer Ausdehnung von 2.5 Millionen Quadratkilometer und einer durchschnittlichen Höhe von über 4 700 Meter beeinflusst wesentlich den asiatischen Monsun und reguliert mit seinen Schnee- und Eisreserven den Wasserhaushalt der Oberläufe der sieben wichtigsten Flüsse Südostasiens. Von diesem Wasserzufluss leben 1.4 Milliarden Menschen und hängt neben dem Ackerbau und der Wirtschaft das gesamte Ökosystem in dieser Gegend ab. Wie die zunehmende Zahl an Dürren und Überschwemmungen zeigt, sind diese jahreszeitlich beeinflussten Wasserreserven allen Anscheins nach vom Klimawandel betroffen, mit negativen Auswirkungen für die flussabwärts liegenden Stromgebiete und demzufolge die dortige Nahrungsmittelsicherheit.
Das internationale Kooperationsprojekt CEOP-AEGIS – finanziert von der Europäischen Kommission unter dem Siebten Rahmenprogramm – hat sich deshalb zum Ziel gesetzt, die Hydrologie und Meteorologie dieses Hochplateaus weiter zu erforschen, um daraus seine Rolle in Bezug auf das Klima, den Monsun und den zunehmenden extremen Wetterereignissen tiefgreifender verstehen zu können. Im Rahmen dieses Projektes werden verschiedenartigste Erdbeobachtungsdaten von Fernerkundungssystemen, numerischen Simulationen und Bodenstationsmessungen gesammelt und ausgewertet. Sämtliche Endprodukte des CEOP-AEGIS Projektes werden der wissenschaftlichen Gemeinschaft auf Grundlage einer über das Internet erreichbaren Datenbank zugänglich gemacht, welche eine Zuarbeit zur Initiative GEOSS (Global Earth Observing System of Systems) ist. Hintergründig basiert das CEOP-AEGIS Datenportal auf einem Dapper OPeNDAP Internetserver, welcher die im NetCDF Dateiformat gespeicherten Daten der vordergründigen internetbasierten DChart Benutzerschnittstelle auf Grundlage des OPeNDAP Protokolls bereit stellt. Eingangsdaten von Partnern dieses Projektes sind heterogen nicht nur in Bezug ihres Dateninhalts, sondern auch in Anbetracht ihrer Datenhaltung und Metadatenbeschreibung. Die Daten- und Metadatenhaltung der im NetCDF Dateiformat gespeicherten Endprodukte dieses Projektes müssen jedoch auf einer standardisierten Basis internationalen Konventionen folgen, damit ein hoher Grad an Interoperabilität erreicht werden kann.
In Anbetracht dieser Qualitätsanforderungen wurden die technischen Möglichkeiten von NetCDF, OPeNDAP, Dapper und DChart in dieser Diplomarbeit gründlich untersucht, damit auf Grundlage dieser Erkenntnisse eine korrekte Entscheidung bezüglich der Implementierung eines für CEOP-AEGIS Daten passenden und interoperablen NetCDF Datenmodels abgeleitet werden kann, das eine maximale Kompatibilität und Funktionalität mit OPeNDAP und Dapper / DChart sicher stellen soll. Diese NetCDF Implementierung ist Bestandteil einer neu entwickelten Datenschnittstelle, welche heterogene Daten von Projektpartnern in standardisierte NetCDF Datensätze konvertiert und aggregiert, sodass diese mittels OPeNDAP dem auf der Dapper / DChart Technologie basierendem Datenportal von CEOP-AEGIS zugeführt werden können. Einen besonderen Schwerpunkt bei der Entwicklung dieser Datenschnittstelle wurde auf eine intermediäre Daten- und Metadatenhaltung gelegt, welche mit der Zielsetzung von geringem Arbeitsaufwand die Modifizierung ihrer Elemente und somit die Erzeugung von standardisierten NetCDF Dateien auf eine einfache Art und Weise erlaubt.
In Anbetracht der beträchtlichen und verschiedenartigsten Geodaten dieses Projektes war es schlussendlich wesentlich, eine hochwertige Datenschnittstelle zur Überführung heterogener Eingangsdaten von Projektpartnern in standardisierte und aggregierte NetCDF Ausgansdateien zu entwickeln, um damit eine maximale Kompatibilität und Funktionalität mit dem CEOP-AEGIS Datenportal und daraus folgend ein hohes Maß an Interoperabilität innerhalb der wissenschaftlichen Gemeinschaft erzielen zu können.:Task of Diploma Thesis ii
Declaration of academic honesty vii
Abstract ix
Acknowledgments xiii
Dedication xv
Table of Contents xvii
List of Figures xxi
List of Tables xxiii
List of Listings xxv
Nomenclature xxvii
1 Introduction 1
1.1 CEOP-AEGIS project . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Objective of this thesis . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Structure of this work . . . . . . . . . . . . . . . . . . . . . . 10
2 Theoretical foundations 13
2.1 NetCDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.1 Data models . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.4 Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.6 NetCDF 3 . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.7 NetCDF 4 . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.8 Common Data Model . . . . . . . . . . . . . . . . . . . 31
2.1.9 NetCDF libraries and APIs . . . . . . . . . . . . . . . 33
2.1.10 NetCDF utilities . . . . . . . . . . . . . . . . . . . . . 34
2.1.11 NetCDF textual representations . . . . . . . . . . . . . 35
2.1.12 NetCDF conventions . . . . . . . . . . . . . . . . . . . 36
2.2 OPeNDAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.2 OPeNDAP servers . . . . . . . . . . . . . . . . . . . . 42
2.2.3 OPeNDAP clients . . . . . . . . . . . . . . . . . . . . . 47
2.2.4 Data Access Protocol . . . . . . . . . . . . . . . . . . . 48
2.2.5 OPeNDAP data models and data types . . . . . . . . . 49
2.2.6 OPeNDAP and NetCDF . . . . . . . . . . . . . . . . . 53
2.3 Dapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.3.1 Climate Data Portal . . . . . . . . . . . . . . . . . . . 57
2.3.2 System architecture and Dapper services . . . . . . . . 58
2.3.3 Data aggregation . . . . . . . . . . . . . . . . . . . . . 60
2.3.4 Supported conventions of Dapper . . . . . . . . . . . . 61
2.4 DChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.4.1 Design goals . . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.2 Functionality . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.3 System architecture . . . . . . . . . . . . . . . . . . . . 64
2.5 Dapper and DChart configuration . . . . . . . . . . . . . . . . 66
2.5.1 License and release notes . . . . . . . . . . . . . . . . . 67
2.5.2 Dapper and DChart system requirements . . . . . . . . 67
3 Implementation 69
3.1 Scientific data types . . . . . . . . . . . . . . . . . . . . . . . 69
3.1.1 Gridded data . . . . . . . . . . . . . . . . . . . . . . . 70
3.1.2 In-situ data . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2 NetCDF for CEOP-AEGIS . . . . . . . . . . . . . . . . . . . . 71
3.2.1 CF Climate and Forecast Convention . . . . . . . . . . 73
3.2.2 Dapper In-situ Convention . . . . . . . . . . . . . . . . 80
3.2.3 NetCDF implementation for CEOP-AEGIS . . . . . . 89
3.3 CEOP-AEGIS Data Interface . . . . . . . . . . . . . . . . . . 93
3.3.1 Intermediate data model . . . . . . . . . . . . . . . . . 95
3.3.2 Data Interface dependencies . . . . . . . . . . . . . . . 98
3.3.3 Data Interface usage . . . . . . . . . . . . . . . . . . . 98
3.3.4 Data Interface modules . . . . . . . . . . . . . . . . . . 105
3.4 Final products . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 Conclusion 111
4.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
A Appendix 119
A.1 CD-ROM of project data . . . . . . . . . . . . . . . . . . . . . 119
A.2 Flood occurrence maps . . . . . . . . . . . . . . . . . . . . . . 121
A.2.1 Flood occurrence May . . . . . . . . . . . . . . . . . . 122
A.2.2 Flood occurrence August . . . . . . . . . . . . . . . . . 123
A.3 CEOP-AEGIS Data Portal . . . . . . . . . . . . . . . . . . . . 124
A.3.1 Capture image of CEOP-AEGIS Data Portal . . . . . . 125
A.3.2 Dapper configuration file . . . . . . . . . . . . . . . . . 126
A.3.3 DChart configuration file . . . . . . . . . . . . . . . . . 127
A.4 NetCDF data models for CEOP-AEGIS . . . . . . . . . . . . 130
A.4.1 Data model for gridded data . . . . . . . . . . . . . . . 131
A.4.2 Data model for in-situ data . . . . . . . . . . . . . . . 132
A.5 Upstream data interface . . . . . . . . . . . . . . . . . . . . . 133
A.5.1 Data Interface and service chain . . . . . . . . . . . . . 134
A.5.2 Data Interface data flow . . . . . . . . . . . . . . . . . 135
A.5.3 Data Interface data flow 2 . . . . . . . . . . . . . . . . 136
A.5.4 Data Interface modules and classes . . . . . . . . . . . 137
A.5.5 Data Interface NetCDF metadata file for gridded data 138
A.5.6 Data Interface NetCDF metadata file for in-situ data . 139
A.5.7 Data Interface coordinate metadata file for gridded data140
A.5.8 Data Interface coordinate metadata file for in-situ data 140
A.5.9 Data Interface UI main program . . . . . . . . . . . . . 141
A.5.10 Data Interface UI GrADS component . . . . . . . . . . 142
A.5.11 Data Interface UI GDAL component . . . . . . . . . . 143
A.5.12 Data Interface UI CSV component . . . . . . . . . . . 144
A.5.13 Data Interface settings file for gridded data . . . . . . . 145
A.5.14 Data Interface settings file for in-situ data . . . . . . . 146
A.5.15 Data Interface batch file for data conversion via GrADS146
A.5.16 Data Interface batch file for data conversion via GDAL 147
A.5.17 Data Interface batch file for data conversion via CSV . 148
A.6 Pydoc documentation for upstream data interface . . . . . . . 149
A.6.1 grads_2Interface.py . . . . . . . . . . . . . . . . . . . . 150
A.6.2 gdal_2Interface.py . . . . . . . . . . . . . . . . . . . . 155
A.6.3 csv_2Interface.py . . . . . . . . . . . . . . . . . . . . . 162
A.6.4 interface_Main.py . . . . . . . . . . . . . . . . . . . . 167
A.6.5 interface_Settings.py . . . . . . . . . . . . . . . . . . . 172
A.6.6 interface_Control.py . . . . . . . . . . . . . . . . . . . 175
A.6.7 interface_Model.py . . . . . . . . . . . . . . . . . . . . 179
A.6.8 interface_ModelUtilities.py . . . . . . . . . . . . . . . 185
A.6.9 interface_Data.py . . . . . . . . . . . . . . . . . . . . . 189
A.6.10 interface_ProcessingTools.py . . . . . . . . . . . . . . 191
Bibliography 197
Index 205
|
Page generated in 0.0298 seconds