591 |
Tal till text för relevant metadatataggning av ljudarkiv hos Sveriges Radio / Speech to text for relevant metadata tagging of audio archive at Sveriges RadioJansson, Annika January 2015 (has links)
Tal till text för relevant metadatataggning av ljudarkiv hos Sveriges Radio Sammanfattning Under åren 2009-2013 har Sveriges Radio digitaliserat sitt programarkiv. Sveriges Radios ambition är att mer material från de 175 000 timmar radio som sänds varje år ska arkiveras. Det är en relativt tidsödande process att göra allt material sökbart och det är långt ifrån säkert att kvaliteten på dessa data är lika hög hos alla objekt. Frågeställningen som har behandlats för detta examensarbete är: Vilka tekniska lösningar finns för att utveckla ett system åt Sveriges Radio för automatisk igenkänning av svenskt tal till text utifrån deras ljudarkiv? System inom tal till text har analyserats och undersökts för att ge Sveriges Radio en aktuell sammanställning inom området. Intervjuer med andra liknande organisationer som arbetar inom området har utförts för att se hur långt de har kommit i sin utveckling av det berörda ämnet. En litteraturstudie har genomförts på de senare forskningsrapporterna inom taligenkänning för att jämföra vilket system som skulle passa Sveriges Radio behov och krav bäst att gå vidare med. Det Sveriges Radio bör koncentrera sig på först för att kunna bygga en ASR, Automatic Speech Recognition, är att transkribera sitt ljudmaterial. Där finns det tre alternativ, antingen transkribera själva genom att välja ut ett antal program med olika inriktning för att få en så stor bredd som möjligt på innehållet, gärna med olika talare för att sedan även kunna utveckla vidare för igenkänning av talare. Enklaste sättet är att låta olika yrkeskategorier som lägger in inslagen/programmen i systemet göra det. Andra alternativet är att starta ett liknade projekt som BBC har gjort och ta hjälp av allmänheten. Tredje alternativet är att köpa tjänsten för transkribering. Mitt råd är att fortsätta utvärdera systemet Kaldi, eftersom det har utvecklats mycket på senaste tiden och verkar vara relativt lätt att utvidga. Även den öppna källkod som Lingsoft använder sig av är intressant att studera vidare. / Speech to text for relevant metadata tagging of audio archive at Sveriges Radio Abstract In the years 2009-2013, Sveriges Radio digitized its program archive. Sveriges Radio's ambition is that more material from the 175 000 hours of radio they broadcast every year should be archived. This is a relatively time-consuming process to make all materials to be searchable and it's far from certain that the quality of the data is equally high on all items. The issue that has been treated for this thesis is: What opportunities exist to develop a system to Sveriges Radio for Swedish speech to text? Systems for speech to text has been analyzed and examined to give Sveriges Radio a current overview in this subject. Interviews with other similar organizations working in the field have been performed to see how far they have come in their development of the concerned subject. A literature study has been conducted on the recent research reports in speech recognition to compare which system would match Sveriges Radio's needs and requirements best to get on with. What Sveriges Radio should concentrate at first, in order to build an ASR, Automatic Speech Recognition, is to transcribe their audio material. Where there are three alternatives, either transcribe themselves by selecting a number of programs with different orientations to get such a large width as possible on the content, preferably with different speakers and then also be able to develop further recognition of the speaker. The easiest way is to let different professions who make the features/programs in the system do it. Other option is to start a similar project that the BBC has done and take help of the public. The third option is to buy the service for transcription. My advice is to continue evaluate the Kaldi system, because it has evolved significantly in recent years and seems to be relatively easy to extend. Also the open-source that Lingsoft uses is interesting to study further.
|
592 |
Automatic Categorization of News Articles With Contextualized Language Models / Automatisk kategorisering av nyhetsartiklar med kontextualiserade språkmodellerBorggren, Lukas January 2021 (has links)
This thesis investigates how pre-trained contextualized language models can be adapted for multi-label text classification of Swedish news articles. Various classifiers are built on pre-trained BERT and ELECTRA models, exploring global and local classifier approaches. Furthermore, the effects of domain specialization, using additional metadata features and model compression are investigated. Several hundred thousand news articles are gathered to create unlabeled and labeled datasets for pre-training and fine-tuning, respectively. The findings show that a local classifier approach is superior to a global classifier approach and that BERT outperforms ELECTRA significantly. Notably, a baseline classifier built on SVMs yields competitive performance. The effect of further in-domain pre-training varies; ELECTRA’s performance improves while BERT’s is largely unaffected. It is found that utilizing metadata features in combination with text representations improves performance. Both BERT and ELECTRA exhibit robustness to quantization and pruning, allowing model sizes to be cut in half without any performance loss.
|
593 |
Vyhledávání knih Google: analýza systému a jeho využití v České republice / Google Book Search : the analysis of the system and its usage in the Czech RepublicFrčka, Pavel January 2014 (has links)
The topic of this master's degree diploma thesis is the Google Books service, formerly Google Book Search and Google Print. The wider general context is described briefly in the first two chapters. Google company and its portfolio of services are introduced, as well as the latest progress in sharing of information, for example trends as digital libraries and open access. Third chapter presents results of the analysis of the Google Books as the complex system. Mentioned are: a history of the service, Library Project, Partner Program, metadata harvesting, scanning methods, available searching options, all information and functionalities in the individual records, users' participation. Chapter four is focused on copyright law and disputes related to the Google Books. Fifth chapter deals with the usage of the Google Books in the Czech Republic, in the terms of all local activities. Great attention belongs to digitization in cooperation of Google company with National Library of the Czech Republic. Two questionnaires were done for this thesis, between college students and large Czech publishers. Good knowledge of the service existence was found; the most attractive attribute is the presence of full texts. Publishers appreciate a possibility of selling e-books. Detailed results of both surveys are the content of...
|
594 |
Unlocking the Potential of Biodiversity Data : Managing and Sharing Data from Biodiversity Surveys / Att låsa upp potentialen av biodiversitets data : Hantering och delning av data från NaturvärdesinventeringarKarlsson, Tom, Rådberg, Anton January 2023 (has links)
Biodiversity surveys conducted by consulting firms generate valuable biodiversity data. However, the full potential of this data remains untapped without proper structuring and integration into a collaborative network of shared data. This thesis addresses the lack of studies exploring data management in biodiversity surveys and the specific requirements for data structuring. The objective of this Bachelor’s thesis is to introduce the concepts of data management in biodiversity surveys and collaborative data sharing, which have gained scientific popularity due to advancements in data-driven technologies and growing public interest in environmental sustainability. Using a qualitative and exploratory approach based on the Design Science Research paradigm, this research draws general conclusions on data management practices in biodiversity surveys and identifies the requirements for new data standards. The findings of this thesis serve as a starting point for ongoing efforts toward establishing a standardised structure for biodiversity survey data. Such a structure would enable meaningful insights through data-driven technologies and facilitate integration into a collaborative network of shared data. By addressing the gap in understanding data management and data standards in biodiversity surveys, this research contributes to the effective utilization of biodiversity data, ultimately supporting the achievement of sustainability goals. / Naturvärdesinventeringar utförda av konsultfirmor i Sverige genererar en betydande mängd biodiversitetsdata. För att utnyttja värdet av denna data fullt ut är strukturerad hantering och öppen samverkan och delning av data inom öppna data-ekosystem avgörande. Genom att organisera och standardisera datan på ett enhetligt sätt blir den mer användbar och kan bidra till att uppnå globala och nationella hållbarhetsmål. Trots behovet finns det brist på studier som fokuserar på datahantering vid Naturvärdesinventeringar och specifikt specificerar kraven för strukturerad hantering av data. Detta kandidatarbete introducerar ämnet datahantering från Naturvärdesinventeringar samt delning av data inom öppna data-ekosystem. Dessa ämnen har blivit alltmer populära inom forskningen på grund av framstegen inom datadrivna teknologier och det ökande allmänna intresset för miljömässig hållbarhet. Med en kvalitativ och utforskande metod baserad på Design Science Research-paradigmet drar denna forskning generella slutsatser om god praxis för datahantering vid Naturvärdesinventeringar samt identifierar krav som behöver uppfyllas för att kunna dela datan inom öppna data-ekosystem. Resultaten av detta arbete utgör en grund för fortsatt arbete mot att etablera en standardiserad struktur för biodiversitetsdata från Naturvärdesinventeringar. En sådan struktur skulle möjliggöra djupare insikter genom datadrivna teknologier samt underlätta integreringen av data inom öppna data-ekosystem. Genom att belysa kunskapsbristen inom datahantering och datastandarder vid Naturvärdesinventeringar bidrar detta arbete till en effektivare användning av biodiversitetsdata och stödjer därmed arbetet med att uppnå hållbarhetsmålen.
|
595 |
Utbildningsmaterial ur mjukvarudokumentation / Educational material from software documentationHögman Ordning, Herman January 2019 (has links)
Utbildning för slutanvändare av IT-system på arbetsplatsen är en dyr och tidskrävande affär. Trots att mycket information om systemen tas fram under utvecklingenav systemet, i form av kravdokument och annan dokumentation, används den informationen sällan i utbildningssyfte. Företaget Multisoft önskadeundersöka hur den dokumentation de tar fram under utvecklingen av skräddarsyddaverksamhetssystem åt olika företag, kallade Softadmin R -system, kananvändas i utbildningssyfte.Syftet med detta examensarbete var att identifiera vilka lärbehov slutanvändareav verksamhetssystem utvecklade av företaget Multisoft har. Baserat på dessa lärbehov undersöktes hur den dokumentation som tas fram under utvecklingenskulle kunna nyttjas i utbildningssyfte. En kvalitativ undersökning med narrativa semistrukturerade intervjuer genomfördes med slutanvändare och projektdeltagare hos sex olika företag som implementeratett Softadmin R -system inom de senaste två åren. Projektdeltagarna hade varit involverade under utvecklingen från kundföretagets sida och slutanvändarnahade inte varit involverade i utvecklingen. Tio intervjuer genomfördes och en tematisk analys utfördes på intervjutranskriptionerna. Framtagna teman tolkades utifrån en kognitivistisk syn på lärande. Resultatet från analys av intervjuerna pekar på att slutanvändare vill kunna lära sig genom att testa sig runt i systemet. Slutanvändare vill lära sig genomatt få information visuellt och inte enbart via text. Ett utbildningsmaterial om ett Softadmin R -system ska inte kräva tidigare kunskap om systemet för attvara tillgängligt. Vidare indikerar resultatet att slutanvändare upplever att systemen har en komplex affärslogik där det är svårt att förstå hur systemet solika processer påverkar varandra. Övergången från ett gammalt system till det nya kan innebära svårigheter i lärandet för slutanvändarna. Avsaknad avstruktur då slutanvändarna lärde sig använda systemet identifierades som ett problem. Ett förslag på struktur för ett utbildningsmaterial har tagits fram. Detta utbildivningsmaterial är tänkt att använda information från den dokumentation som tas fram under utvecklingen av Softadmin R -system. Denna användning av dokumentationen skulle i nuläget behöva göras manuellt med viss anpassning. Förslag på hur det kan automatiseras har presenterats. Funktionella krav på ett system för framtagning och underhåll av den informationsom krävs för det föreslagna utbildningsmaterialet har presenterats. När Softadmin R -system som utbildningsmaterialet berör uppdateras möjliggörsystemet uppdatering av utbildningsmaterialet. Systemet möjliggör även framtagning av utbildningsmaterial anpassat för en viss yrkesroll. / End user training of IT systems at the workplace is an expensive and time consuming ordeal. Despite a lot of information about the systems being produced during development of the system, in the form of requirement documents and other documentation, the information is seldom used for educational purposes. Multisoft wished to explore how the documentation produced during the development of their tailor-made business systems, named Softadmin R systems, can be used for educational purposes.The purpose of this master thesis was to identify what learning-needs end users have in regards to business systems developed by the company Multisoft. Based on these learning-needs an investigation would be placed on how the documentation produced during development could be used for educational purposes. A qualitative study with narrative semi-structured interviews was conducted with end users and project participants at six different companies that had implemented a Softadmin R system at their workplace within the last two years. The project participants had been involved from the customer company’s side during the development whereas the end users had not been involved. Ten interviews were conducted and a the matic analysis was performed on the interview transcripts. Procured themes were then interpreted from a cognitiveperspective on learning. The results indicated that end users want to be able to learn by trying to use the system themselves. End users want to learn by getting information visually and not only via text. A training material for a Softadmin R system should not require prior knowledge about the system to be available to the learner. Furthermore the results indicate that end users feel the systems have a complex business logic where it is difficult to understand how the different processes in the system affect each other. The transition from an old system to a new system can be problematic to the end users’ learning. A lack of structure in the end users’ learning of the system was identified as an issue.
|
596 |
Role-based Access Control for the Open Grid Services Architecture – Data Access and Integration (OGSA-DAI)Pereira, Anil L. 12 June 2007 (has links)
No description available.
|
597 |
Development of an interface for the conversion of geodata in a NetCDF data model and publication of this data by the use of the web application DChart, related to the CEOP-AEGIS project / Entwicklung einer Schnittstelle zur Überführung von Geodaten des Projektes CEOP-AEGIS in ein NetCDF-Datenmodell und Publikation dieser Daten unter Verwendung der Internetanwendung DChartHolzer, Nicolai 08 August 2011 (has links) (PDF)
The Tibetan Plateau with an extent of about 2,5 million square kilometers at an average altitude higher than 4,700 meters has a significant impact on the Asian monsoon and regulates with its snow and ice reserves the upstream headwaters of seven major south-east Asian rivers. Upon the water supply of these rivers depend over 1,4 billion people, the agriculture, the economics, and the entire ecosystem in this region. As the increasing number of floods and droughts show, these seasonal water reserves however are likely to be influenced by climate change, with negative effects for the downstream water supply and subsequently the food security.
The international cooperation project CEOP-AEGIS – funded by the European Commission under the Seventh Framework Program – aims as a result to improve the knowledge of the hydrology and meteorology of the Qinghai-Tibetan Plateau to further understand its role in climate, monsoon and increasing extreme meteorological events. Within the framework of this project, a large variety of earth observation datasets from remote sensing products, model outputs and in-situ ground station measurements are collected and evaluated. Any foreground products of CEOP-AEGIS will have to be made available to the scientific community by an online data repository which is a contribution to the Global Earth Observation System of Systems (GEOSS). The back-end of the CEOP-AEGIS Data Portal relies on a Dapper OPeNDAP web server that serves data stored in the NetCDF file format to a DChart client front-end as web-based user interface. Data from project partners are heterogeneous in its content, and also in its type of storage and metadata description. However NetCDF project output data and metadata has to be standardized and must follow international conventions to achieve a high level of interoperability.
Out of these needs, the capabilities of NetCDF, OPeNDAP, Dapper and DChart were profoundly evaluated in order to take correct decisions for implementing a suitable and interoperable NetCDF data model for CEOP-AEGIS data that allows a maximum of compatibility and functionality to OPeNDAP and Dapper / DChart as well. This NetCDF implementation is part of a newly developed upstream data interface that converts and aggregates heterogeneous input data of project partners to standardized NetCDF datasets, so that they can be feed via OPeNDAP to the CEOP-AEGIS Data Portal based on the Dapper / DChart technology. A particular focus in the design of this data interface was set to an intermediate data and metadata representation that easily allows to modify its elements with the scope of achieving standardized NetCDF files in a simple way.
Considering the extensive variety and amount of data within this project, it was essential to properly design a data interface that converts heterogeneous input data of project partners to standardized and aggregated NetCDF output files in order to ensure maximum compatibility and functionality within the CEOP-AEGIS Data Portal and subsequently interoperability within the scientific community. / Das Hochplateau von Tibet mit einer Ausdehnung von 2.5 Millionen Quadratkilometer und einer durchschnittlichen Höhe von über 4 700 Meter beeinflusst wesentlich den asiatischen Monsun und reguliert mit seinen Schnee- und Eisreserven den Wasserhaushalt der Oberläufe der sieben wichtigsten Flüsse Südostasiens. Von diesem Wasserzufluss leben 1.4 Milliarden Menschen und hängt neben dem Ackerbau und der Wirtschaft das gesamte Ökosystem in dieser Gegend ab. Wie die zunehmende Zahl an Dürren und Überschwemmungen zeigt, sind diese jahreszeitlich beeinflussten Wasserreserven allen Anscheins nach vom Klimawandel betroffen, mit negativen Auswirkungen für die flussabwärts liegenden Stromgebiete und demzufolge die dortige Nahrungsmittelsicherheit.
Das internationale Kooperationsprojekt CEOP-AEGIS – finanziert von der Europäischen Kommission unter dem Siebten Rahmenprogramm – hat sich deshalb zum Ziel gesetzt, die Hydrologie und Meteorologie dieses Hochplateaus weiter zu erforschen, um daraus seine Rolle in Bezug auf das Klima, den Monsun und den zunehmenden extremen Wetterereignissen tiefgreifender verstehen zu können. Im Rahmen dieses Projektes werden verschiedenartigste Erdbeobachtungsdaten von Fernerkundungssystemen, numerischen Simulationen und Bodenstationsmessungen gesammelt und ausgewertet. Sämtliche Endprodukte des CEOP-AEGIS Projektes werden der wissenschaftlichen Gemeinschaft auf Grundlage einer über das Internet erreichbaren Datenbank zugänglich gemacht, welche eine Zuarbeit zur Initiative GEOSS (Global Earth Observing System of Systems) ist. Hintergründig basiert das CEOP-AEGIS Datenportal auf einem Dapper OPeNDAP Internetserver, welcher die im NetCDF Dateiformat gespeicherten Daten der vordergründigen internetbasierten DChart Benutzerschnittstelle auf Grundlage des OPeNDAP Protokolls bereit stellt. Eingangsdaten von Partnern dieses Projektes sind heterogen nicht nur in Bezug ihres Dateninhalts, sondern auch in Anbetracht ihrer Datenhaltung und Metadatenbeschreibung. Die Daten- und Metadatenhaltung der im NetCDF Dateiformat gespeicherten Endprodukte dieses Projektes müssen jedoch auf einer standardisierten Basis internationalen Konventionen folgen, damit ein hoher Grad an Interoperabilität erreicht werden kann.
In Anbetracht dieser Qualitätsanforderungen wurden die technischen Möglichkeiten von NetCDF, OPeNDAP, Dapper und DChart in dieser Diplomarbeit gründlich untersucht, damit auf Grundlage dieser Erkenntnisse eine korrekte Entscheidung bezüglich der Implementierung eines für CEOP-AEGIS Daten passenden und interoperablen NetCDF Datenmodels abgeleitet werden kann, das eine maximale Kompatibilität und Funktionalität mit OPeNDAP und Dapper / DChart sicher stellen soll. Diese NetCDF Implementierung ist Bestandteil einer neu entwickelten Datenschnittstelle, welche heterogene Daten von Projektpartnern in standardisierte NetCDF Datensätze konvertiert und aggregiert, sodass diese mittels OPeNDAP dem auf der Dapper / DChart Technologie basierendem Datenportal von CEOP-AEGIS zugeführt werden können. Einen besonderen Schwerpunkt bei der Entwicklung dieser Datenschnittstelle wurde auf eine intermediäre Daten- und Metadatenhaltung gelegt, welche mit der Zielsetzung von geringem Arbeitsaufwand die Modifizierung ihrer Elemente und somit die Erzeugung von standardisierten NetCDF Dateien auf eine einfache Art und Weise erlaubt.
In Anbetracht der beträchtlichen und verschiedenartigsten Geodaten dieses Projektes war es schlussendlich wesentlich, eine hochwertige Datenschnittstelle zur Überführung heterogener Eingangsdaten von Projektpartnern in standardisierte und aggregierte NetCDF Ausgansdateien zu entwickeln, um damit eine maximale Kompatibilität und Funktionalität mit dem CEOP-AEGIS Datenportal und daraus folgend ein hohes Maß an Interoperabilität innerhalb der wissenschaftlichen Gemeinschaft erzielen zu können.
|
598 |
Development of an interface for the conversion of geodata in a NetCDF data model and publication of this data by the use of the web application DChart, related to the CEOP-AEGIS projectHolzer, Nicolai 20 April 2011 (has links)
The Tibetan Plateau with an extent of about 2,5 million square kilometers at an average altitude higher than 4,700 meters has a significant impact on the Asian monsoon and regulates with its snow and ice reserves the upstream headwaters of seven major south-east Asian rivers. Upon the water supply of these rivers depend over 1,4 billion people, the agriculture, the economics, and the entire ecosystem in this region. As the increasing number of floods and droughts show, these seasonal water reserves however are likely to be influenced by climate change, with negative effects for the downstream water supply and subsequently the food security.
The international cooperation project CEOP-AEGIS – funded by the European Commission under the Seventh Framework Program – aims as a result to improve the knowledge of the hydrology and meteorology of the Qinghai-Tibetan Plateau to further understand its role in climate, monsoon and increasing extreme meteorological events. Within the framework of this project, a large variety of earth observation datasets from remote sensing products, model outputs and in-situ ground station measurements are collected and evaluated. Any foreground products of CEOP-AEGIS will have to be made available to the scientific community by an online data repository which is a contribution to the Global Earth Observation System of Systems (GEOSS). The back-end of the CEOP-AEGIS Data Portal relies on a Dapper OPeNDAP web server that serves data stored in the NetCDF file format to a DChart client front-end as web-based user interface. Data from project partners are heterogeneous in its content, and also in its type of storage and metadata description. However NetCDF project output data and metadata has to be standardized and must follow international conventions to achieve a high level of interoperability.
Out of these needs, the capabilities of NetCDF, OPeNDAP, Dapper and DChart were profoundly evaluated in order to take correct decisions for implementing a suitable and interoperable NetCDF data model for CEOP-AEGIS data that allows a maximum of compatibility and functionality to OPeNDAP and Dapper / DChart as well. This NetCDF implementation is part of a newly developed upstream data interface that converts and aggregates heterogeneous input data of project partners to standardized NetCDF datasets, so that they can be feed via OPeNDAP to the CEOP-AEGIS Data Portal based on the Dapper / DChart technology. A particular focus in the design of this data interface was set to an intermediate data and metadata representation that easily allows to modify its elements with the scope of achieving standardized NetCDF files in a simple way.
Considering the extensive variety and amount of data within this project, it was essential to properly design a data interface that converts heterogeneous input data of project partners to standardized and aggregated NetCDF output files in order to ensure maximum compatibility and functionality within the CEOP-AEGIS Data Portal and subsequently interoperability within the scientific community.:Task of Diploma Thesis ii
Declaration of academic honesty vii
Abstract ix
Acknowledgments xiii
Dedication xv
Table of Contents xvii
List of Figures xxi
List of Tables xxiii
List of Listings xxv
Nomenclature xxvii
1 Introduction 1
1.1 CEOP-AEGIS project . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Objective of this thesis . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Structure of this work . . . . . . . . . . . . . . . . . . . . . . 10
2 Theoretical foundations 13
2.1 NetCDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.1 Data models . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.4 Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.6 NetCDF 3 . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.7 NetCDF 4 . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.8 Common Data Model . . . . . . . . . . . . . . . . . . . 31
2.1.9 NetCDF libraries and APIs . . . . . . . . . . . . . . . 33
2.1.10 NetCDF utilities . . . . . . . . . . . . . . . . . . . . . 34
2.1.11 NetCDF textual representations . . . . . . . . . . . . . 35
2.1.12 NetCDF conventions . . . . . . . . . . . . . . . . . . . 36
2.2 OPeNDAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.2 OPeNDAP servers . . . . . . . . . . . . . . . . . . . . 42
2.2.3 OPeNDAP clients . . . . . . . . . . . . . . . . . . . . . 47
2.2.4 Data Access Protocol . . . . . . . . . . . . . . . . . . . 48
2.2.5 OPeNDAP data models and data types . . . . . . . . . 49
2.2.6 OPeNDAP and NetCDF . . . . . . . . . . . . . . . . . 53
2.3 Dapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.3.1 Climate Data Portal . . . . . . . . . . . . . . . . . . . 57
2.3.2 System architecture and Dapper services . . . . . . . . 58
2.3.3 Data aggregation . . . . . . . . . . . . . . . . . . . . . 60
2.3.4 Supported conventions of Dapper . . . . . . . . . . . . 61
2.4 DChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.4.1 Design goals . . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.2 Functionality . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.3 System architecture . . . . . . . . . . . . . . . . . . . . 64
2.5 Dapper and DChart configuration . . . . . . . . . . . . . . . . 66
2.5.1 License and release notes . . . . . . . . . . . . . . . . . 67
2.5.2 Dapper and DChart system requirements . . . . . . . . 67
3 Implementation 69
3.1 Scientific data types . . . . . . . . . . . . . . . . . . . . . . . 69
3.1.1 Gridded data . . . . . . . . . . . . . . . . . . . . . . . 70
3.1.2 In-situ data . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2 NetCDF for CEOP-AEGIS . . . . . . . . . . . . . . . . . . . . 71
3.2.1 CF Climate and Forecast Convention . . . . . . . . . . 73
3.2.2 Dapper In-situ Convention . . . . . . . . . . . . . . . . 80
3.2.3 NetCDF implementation for CEOP-AEGIS . . . . . . 89
3.3 CEOP-AEGIS Data Interface . . . . . . . . . . . . . . . . . . 93
3.3.1 Intermediate data model . . . . . . . . . . . . . . . . . 95
3.3.2 Data Interface dependencies . . . . . . . . . . . . . . . 98
3.3.3 Data Interface usage . . . . . . . . . . . . . . . . . . . 98
3.3.4 Data Interface modules . . . . . . . . . . . . . . . . . . 105
3.4 Final products . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 Conclusion 111
4.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
A Appendix 119
A.1 CD-ROM of project data . . . . . . . . . . . . . . . . . . . . . 119
A.2 Flood occurrence maps . . . . . . . . . . . . . . . . . . . . . . 121
A.2.1 Flood occurrence May . . . . . . . . . . . . . . . . . . 122
A.2.2 Flood occurrence August . . . . . . . . . . . . . . . . . 123
A.3 CEOP-AEGIS Data Portal . . . . . . . . . . . . . . . . . . . . 124
A.3.1 Capture image of CEOP-AEGIS Data Portal . . . . . . 125
A.3.2 Dapper configuration file . . . . . . . . . . . . . . . . . 126
A.3.3 DChart configuration file . . . . . . . . . . . . . . . . . 127
A.4 NetCDF data models for CEOP-AEGIS . . . . . . . . . . . . 130
A.4.1 Data model for gridded data . . . . . . . . . . . . . . . 131
A.4.2 Data model for in-situ data . . . . . . . . . . . . . . . 132
A.5 Upstream data interface . . . . . . . . . . . . . . . . . . . . . 133
A.5.1 Data Interface and service chain . . . . . . . . . . . . . 134
A.5.2 Data Interface data flow . . . . . . . . . . . . . . . . . 135
A.5.3 Data Interface data flow 2 . . . . . . . . . . . . . . . . 136
A.5.4 Data Interface modules and classes . . . . . . . . . . . 137
A.5.5 Data Interface NetCDF metadata file for gridded data 138
A.5.6 Data Interface NetCDF metadata file for in-situ data . 139
A.5.7 Data Interface coordinate metadata file for gridded data140
A.5.8 Data Interface coordinate metadata file for in-situ data 140
A.5.9 Data Interface UI main program . . . . . . . . . . . . . 141
A.5.10 Data Interface UI GrADS component . . . . . . . . . . 142
A.5.11 Data Interface UI GDAL component . . . . . . . . . . 143
A.5.12 Data Interface UI CSV component . . . . . . . . . . . 144
A.5.13 Data Interface settings file for gridded data . . . . . . . 145
A.5.14 Data Interface settings file for in-situ data . . . . . . . 146
A.5.15 Data Interface batch file for data conversion via GrADS146
A.5.16 Data Interface batch file for data conversion via GDAL 147
A.5.17 Data Interface batch file for data conversion via CSV . 148
A.6 Pydoc documentation for upstream data interface . . . . . . . 149
A.6.1 grads_2Interface.py . . . . . . . . . . . . . . . . . . . . 150
A.6.2 gdal_2Interface.py . . . . . . . . . . . . . . . . . . . . 155
A.6.3 csv_2Interface.py . . . . . . . . . . . . . . . . . . . . . 162
A.6.4 interface_Main.py . . . . . . . . . . . . . . . . . . . . 167
A.6.5 interface_Settings.py . . . . . . . . . . . . . . . . . . . 172
A.6.6 interface_Control.py . . . . . . . . . . . . . . . . . . . 175
A.6.7 interface_Model.py . . . . . . . . . . . . . . . . . . . . 179
A.6.8 interface_ModelUtilities.py . . . . . . . . . . . . . . . 185
A.6.9 interface_Data.py . . . . . . . . . . . . . . . . . . . . . 189
A.6.10 interface_ProcessingTools.py . . . . . . . . . . . . . . 191
Bibliography 197
Index 205 / Das Hochplateau von Tibet mit einer Ausdehnung von 2.5 Millionen Quadratkilometer und einer durchschnittlichen Höhe von über 4 700 Meter beeinflusst wesentlich den asiatischen Monsun und reguliert mit seinen Schnee- und Eisreserven den Wasserhaushalt der Oberläufe der sieben wichtigsten Flüsse Südostasiens. Von diesem Wasserzufluss leben 1.4 Milliarden Menschen und hängt neben dem Ackerbau und der Wirtschaft das gesamte Ökosystem in dieser Gegend ab. Wie die zunehmende Zahl an Dürren und Überschwemmungen zeigt, sind diese jahreszeitlich beeinflussten Wasserreserven allen Anscheins nach vom Klimawandel betroffen, mit negativen Auswirkungen für die flussabwärts liegenden Stromgebiete und demzufolge die dortige Nahrungsmittelsicherheit.
Das internationale Kooperationsprojekt CEOP-AEGIS – finanziert von der Europäischen Kommission unter dem Siebten Rahmenprogramm – hat sich deshalb zum Ziel gesetzt, die Hydrologie und Meteorologie dieses Hochplateaus weiter zu erforschen, um daraus seine Rolle in Bezug auf das Klima, den Monsun und den zunehmenden extremen Wetterereignissen tiefgreifender verstehen zu können. Im Rahmen dieses Projektes werden verschiedenartigste Erdbeobachtungsdaten von Fernerkundungssystemen, numerischen Simulationen und Bodenstationsmessungen gesammelt und ausgewertet. Sämtliche Endprodukte des CEOP-AEGIS Projektes werden der wissenschaftlichen Gemeinschaft auf Grundlage einer über das Internet erreichbaren Datenbank zugänglich gemacht, welche eine Zuarbeit zur Initiative GEOSS (Global Earth Observing System of Systems) ist. Hintergründig basiert das CEOP-AEGIS Datenportal auf einem Dapper OPeNDAP Internetserver, welcher die im NetCDF Dateiformat gespeicherten Daten der vordergründigen internetbasierten DChart Benutzerschnittstelle auf Grundlage des OPeNDAP Protokolls bereit stellt. Eingangsdaten von Partnern dieses Projektes sind heterogen nicht nur in Bezug ihres Dateninhalts, sondern auch in Anbetracht ihrer Datenhaltung und Metadatenbeschreibung. Die Daten- und Metadatenhaltung der im NetCDF Dateiformat gespeicherten Endprodukte dieses Projektes müssen jedoch auf einer standardisierten Basis internationalen Konventionen folgen, damit ein hoher Grad an Interoperabilität erreicht werden kann.
In Anbetracht dieser Qualitätsanforderungen wurden die technischen Möglichkeiten von NetCDF, OPeNDAP, Dapper und DChart in dieser Diplomarbeit gründlich untersucht, damit auf Grundlage dieser Erkenntnisse eine korrekte Entscheidung bezüglich der Implementierung eines für CEOP-AEGIS Daten passenden und interoperablen NetCDF Datenmodels abgeleitet werden kann, das eine maximale Kompatibilität und Funktionalität mit OPeNDAP und Dapper / DChart sicher stellen soll. Diese NetCDF Implementierung ist Bestandteil einer neu entwickelten Datenschnittstelle, welche heterogene Daten von Projektpartnern in standardisierte NetCDF Datensätze konvertiert und aggregiert, sodass diese mittels OPeNDAP dem auf der Dapper / DChart Technologie basierendem Datenportal von CEOP-AEGIS zugeführt werden können. Einen besonderen Schwerpunkt bei der Entwicklung dieser Datenschnittstelle wurde auf eine intermediäre Daten- und Metadatenhaltung gelegt, welche mit der Zielsetzung von geringem Arbeitsaufwand die Modifizierung ihrer Elemente und somit die Erzeugung von standardisierten NetCDF Dateien auf eine einfache Art und Weise erlaubt.
In Anbetracht der beträchtlichen und verschiedenartigsten Geodaten dieses Projektes war es schlussendlich wesentlich, eine hochwertige Datenschnittstelle zur Überführung heterogener Eingangsdaten von Projektpartnern in standardisierte und aggregierte NetCDF Ausgansdateien zu entwickeln, um damit eine maximale Kompatibilität und Funktionalität mit dem CEOP-AEGIS Datenportal und daraus folgend ein hohes Maß an Interoperabilität innerhalb der wissenschaftlichen Gemeinschaft erzielen zu können.:Task of Diploma Thesis ii
Declaration of academic honesty vii
Abstract ix
Acknowledgments xiii
Dedication xv
Table of Contents xvii
List of Figures xxi
List of Tables xxiii
List of Listings xxv
Nomenclature xxvii
1 Introduction 1
1.1 CEOP-AEGIS project . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Objective of this thesis . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Structure of this work . . . . . . . . . . . . . . . . . . . . . . 10
2 Theoretical foundations 13
2.1 NetCDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.1 Data models . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.4 Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.5 Attributes . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.6 NetCDF 3 . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.7 NetCDF 4 . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.8 Common Data Model . . . . . . . . . . . . . . . . . . . 31
2.1.9 NetCDF libraries and APIs . . . . . . . . . . . . . . . 33
2.1.10 NetCDF utilities . . . . . . . . . . . . . . . . . . . . . 34
2.1.11 NetCDF textual representations . . . . . . . . . . . . . 35
2.1.12 NetCDF conventions . . . . . . . . . . . . . . . . . . . 36
2.2 OPeNDAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.2 OPeNDAP servers . . . . . . . . . . . . . . . . . . . . 42
2.2.3 OPeNDAP clients . . . . . . . . . . . . . . . . . . . . . 47
2.2.4 Data Access Protocol . . . . . . . . . . . . . . . . . . . 48
2.2.5 OPeNDAP data models and data types . . . . . . . . . 49
2.2.6 OPeNDAP and NetCDF . . . . . . . . . . . . . . . . . 53
2.3 Dapper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.3.1 Climate Data Portal . . . . . . . . . . . . . . . . . . . 57
2.3.2 System architecture and Dapper services . . . . . . . . 58
2.3.3 Data aggregation . . . . . . . . . . . . . . . . . . . . . 60
2.3.4 Supported conventions of Dapper . . . . . . . . . . . . 61
2.4 DChart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.4.1 Design goals . . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.2 Functionality . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.3 System architecture . . . . . . . . . . . . . . . . . . . . 64
2.5 Dapper and DChart configuration . . . . . . . . . . . . . . . . 66
2.5.1 License and release notes . . . . . . . . . . . . . . . . . 67
2.5.2 Dapper and DChart system requirements . . . . . . . . 67
3 Implementation 69
3.1 Scientific data types . . . . . . . . . . . . . . . . . . . . . . . 69
3.1.1 Gridded data . . . . . . . . . . . . . . . . . . . . . . . 70
3.1.2 In-situ data . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2 NetCDF for CEOP-AEGIS . . . . . . . . . . . . . . . . . . . . 71
3.2.1 CF Climate and Forecast Convention . . . . . . . . . . 73
3.2.2 Dapper In-situ Convention . . . . . . . . . . . . . . . . 80
3.2.3 NetCDF implementation for CEOP-AEGIS . . . . . . 89
3.3 CEOP-AEGIS Data Interface . . . . . . . . . . . . . . . . . . 93
3.3.1 Intermediate data model . . . . . . . . . . . . . . . . . 95
3.3.2 Data Interface dependencies . . . . . . . . . . . . . . . 98
3.3.3 Data Interface usage . . . . . . . . . . . . . . . . . . . 98
3.3.4 Data Interface modules . . . . . . . . . . . . . . . . . . 105
3.4 Final products . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 Conclusion 111
4.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
A Appendix 119
A.1 CD-ROM of project data . . . . . . . . . . . . . . . . . . . . . 119
A.2 Flood occurrence maps . . . . . . . . . . . . . . . . . . . . . . 121
A.2.1 Flood occurrence May . . . . . . . . . . . . . . . . . . 122
A.2.2 Flood occurrence August . . . . . . . . . . . . . . . . . 123
A.3 CEOP-AEGIS Data Portal . . . . . . . . . . . . . . . . . . . . 124
A.3.1 Capture image of CEOP-AEGIS Data Portal . . . . . . 125
A.3.2 Dapper configuration file . . . . . . . . . . . . . . . . . 126
A.3.3 DChart configuration file . . . . . . . . . . . . . . . . . 127
A.4 NetCDF data models for CEOP-AEGIS . . . . . . . . . . . . 130
A.4.1 Data model for gridded data . . . . . . . . . . . . . . . 131
A.4.2 Data model for in-situ data . . . . . . . . . . . . . . . 132
A.5 Upstream data interface . . . . . . . . . . . . . . . . . . . . . 133
A.5.1 Data Interface and service chain . . . . . . . . . . . . . 134
A.5.2 Data Interface data flow . . . . . . . . . . . . . . . . . 135
A.5.3 Data Interface data flow 2 . . . . . . . . . . . . . . . . 136
A.5.4 Data Interface modules and classes . . . . . . . . . . . 137
A.5.5 Data Interface NetCDF metadata file for gridded data 138
A.5.6 Data Interface NetCDF metadata file for in-situ data . 139
A.5.7 Data Interface coordinate metadata file for gridded data140
A.5.8 Data Interface coordinate metadata file for in-situ data 140
A.5.9 Data Interface UI main program . . . . . . . . . . . . . 141
A.5.10 Data Interface UI GrADS component . . . . . . . . . . 142
A.5.11 Data Interface UI GDAL component . . . . . . . . . . 143
A.5.12 Data Interface UI CSV component . . . . . . . . . . . 144
A.5.13 Data Interface settings file for gridded data . . . . . . . 145
A.5.14 Data Interface settings file for in-situ data . . . . . . . 146
A.5.15 Data Interface batch file for data conversion via GrADS146
A.5.16 Data Interface batch file for data conversion via GDAL 147
A.5.17 Data Interface batch file for data conversion via CSV . 148
A.6 Pydoc documentation for upstream data interface . . . . . . . 149
A.6.1 grads_2Interface.py . . . . . . . . . . . . . . . . . . . . 150
A.6.2 gdal_2Interface.py . . . . . . . . . . . . . . . . . . . . 155
A.6.3 csv_2Interface.py . . . . . . . . . . . . . . . . . . . . . 162
A.6.4 interface_Main.py . . . . . . . . . . . . . . . . . . . . 167
A.6.5 interface_Settings.py . . . . . . . . . . . . . . . . . . . 172
A.6.6 interface_Control.py . . . . . . . . . . . . . . . . . . . 175
A.6.7 interface_Model.py . . . . . . . . . . . . . . . . . . . . 179
A.6.8 interface_ModelUtilities.py . . . . . . . . . . . . . . . 185
A.6.9 interface_Data.py . . . . . . . . . . . . . . . . . . . . . 189
A.6.10 interface_ProcessingTools.py . . . . . . . . . . . . . . 191
Bibliography 197
Index 205
|
599 |
Kartografické kulturní dědictví / Cartographic cultural heritageNovotná, Eva January 2021 (has links)
Disertace je zaměřena na kartografické kulturní dědictví. Zkoumá postupy a stav jeho zpracování i způsoby a nástroje pro zpřístupnění v paměťových institucích. Byly vytčeny dva hlavní cíle práce. Nejprve zpracovat teoretický model online zpřístupnění kartografického kulturního dědictví a ověřit jej na vzorku mapových sbírek. Dále na základě teoretického modelu vytvořit online nástroj pro zlepšení služeb mapových sbírek. K dosažení cíle byly použity kvalitativní výzkumné metody. Konkrétně se jednalo o dotazníkové šetření českých a zahraničních mapových sbírek a také o případové studie českých projektů zaměřených na zpracování a zpřístupnění kartografických památek. K naplnění cílů práce byly podle knihovnického referenčního modelu IFLA navrženy dílčí modely uživatelských úloh, jejichž cílem bylo najít, určit, vybrat, získat a prozkoumat dílo. Na jejich základě byla doporučena kritéria pro hodnocení uživatelských úloh. K ověření funkčnosti modelu došlo testováním 20 digitalizovaných mapových sbírek. Byl vytvořen webový nástroj Databáze digitalizovaných mapových sbírek pro zlepšení služeb mapových sbírek.
|
600 |
e政府服務平台對政府機關及軟體產業的影響分析孫百佑, Sun, Pai-Yu Unknown Date (has links)
本篇論文主要是從民眾的角度,深入瞭解政府在推動業務電子化的過程,在便民服務方面所產生的效益,進而探討國外先進國家的推動概況,由於國情不同,各國均有其特別之處可供參考;隨著我國電子化政府快速的推展,在國際著名調查機構對世界各國的評比中大多名列前茅,使政府願意在電子化政府的投資加碼,因此在數位台灣計畫中包括了許多e 化政府的計畫;目前在電子化政府相關計畫中除了更新現有大型系統的計畫之外,其核心計畫是一個跨機關橫向整合的計畫,建立e政府服務平台,以期能達到「提供民眾更豐富、精緻的資訊內容、更深化的網路申辦服務、與網路公民更多的互動,經由網路的溝通管道,實踐政府治理的目標」。
本文中除探討e政府服務平台對各級政府機關e化的影響之外,也一併探討在政府e化過程,可能對國內軟體產業的影響,以及目前政府推動建置平台的政策,對產業生態的可能影響;這些政策的落實,未來對於國內軟體產業的衝擊將非常可觀,因此,本論文也對國內軟體業者提出一些建議,以供業界因應與轉型參考。 / This paper mainly emphasizes on the effect of which the electronic government interface in Taiwan brings to the citizens, especially in the aspect of citizen-oriented services. Moreover, this article reviews the e-government services in other countries and their vary kinds of developing experiences as reference. Along with the quick development of the e-government service, the rank of Taiwan is always in the top list judged and rated by world-famous institutions. As a result, the government of Taiwan is willing to invest more to the plans of e-government which play an important role in the e-Taiwan project. Currently the plan attempts not only to renew the existing mainframe system, but also to build an “e-government service platform” to integrate services over different departments and resources. This platform is the core of Taiwan e-government plan. It can offer citizens vary and delicate information, more high level applications of service, and more interaction with Internet citizens. By utilizing Internet as a communication channel, it can implement the aim of governance more effectively.
In the final part of this paper, it analyzes the influence of “e-service platform“ towards each level of government units. In addition, it discusses about how the e-government plan affects the software industry. Furthermore, how the policy about the platform influences the status of software industry is also mentioned in this paper. Once the policy is carried out, it is expected to be some serious impacts on domestic software industry. Therefore, this study also gives suggestions to software companies to make a preparation or reformation in advance.
|
Page generated in 0.062 seconds