{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3336417"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3336417","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Cloud-based automation for satellite data processing","abstract":"Οι δορυφόροι Meteosat παρέχουν μεγάλη ποικιλία σε προϊόντα δεδομένων τα οποία αφορούν την έρευνα και την παρακολούθηση του κλίματος. Η δεύτερη γενιά δορυφόρων Meteosat (Meteosat Second Generation) είναι αυτή τη στιγμή πλήρως επιχειρησιακοί, ενώ ο πρώτος δορυφόρος της τρίτης γενιάς εκτοξεύτηκε τον Δεκέμβριο του 2022 και ο οποίος μεταδίδει ήδη δεδομένα ενώ βρίσκεται στη λειτουργικη του φάση. Με την επιστήμη δεδομένων να γίνεται ταχέως ένα βασικό στοιχείο τόσο ακαδημαϊκά όσο και στη βιομηχανία, και με τον όγκο των διαθέσιμων δεδομένων να γίνεται ολοένα και μεγαλύτερος, η αποτελεσματική διαχείριση και επεξεργασία δεδομένων είναι ουσιώδεις για την πρόοδο όλων των σχετιζόμενων πεδίων. Για αυτό το σκοπό, η διπλωματική αυτή έχει ως στόχο να συνεισφέρει με την κατασκευή ενός pipeline το οποίο μπορεί εν δυνάμει να αποτελέσει τη βάση για μία πιο ευρεία μεθοδολογία σχετικά με τα δορυφορικά δεδομένα. Σε αυτό το πλαίσιο, χρησιμοποιούνται ανεπεξέργαστα .txt αρχεία τα οποία αντιστοιχούν σε τροχιές νεφών και τα οποία παράγονται από έναν αλγόριθμο που ανιχνεύει και παρακολουθεί Mesoscale Conventive Systems σε εικόνες Meteosat. Αρχικά, γίνεται μία προ-επεξεργασία και εξαγωγή χαρακτηριστικών, με στόχο να εισαχθούν τα επεξεργασμένα δεδομένα σε μία SQL βάση δεδομένων. Παράλληλα, αυτοματοποιείται η διαδικασία ενσωμάτωσης νέων δεδομένων στα ήδη υπάρχοντα, αφού όλη η διεργασία έχει στηθεί στο cloud, εξασφαλίζοντας με αυτόν τον τρόπο τη διαθεσιμότητα, την ασφάλεια και την επεκτασιμότητα των δεδομένων. Επιπλέον, αναπτύσσεται μία διαδικτυακή εφαρμογή (web application), στην οποία ο χρήστης μπορεί να επιλέξει και να φιλτράρει τα διαθέσιμα δεδομένα βάσει κάποιων κριτηρίων, χωρίς να απαιτείται γνώση της γλώσσας SQL, κάνοντας έτσι τη διαδικασία πιο προσιτή. Η παρούσα εργασία μπορεί να ενσωματωθεί σε ένα ευρύτερο πλαίσιο όσον αφορά την επεξεργασία όχι μόνο δορυφορικών δεδομένων, αλλά και δεδομένων που προέρχονται από άλλες πηγές, ενώ ταυτόχρονα απευθύνεται τόσο στον επιστημονικό όσο και στο βιομηχανικό τομέα. Η παρούσα διπλωματική αποτελεί από μόνη της μία συνεισφορά στην κοινότητα ανοιχτού λογισμικού, αφού ο πλήρης κώδικας είναι διαθέσιμος δωρεάν μέσω ανοικτών αποθετηρίων (repositories), επιτρέποντας στον οποιονδήποτε να τον τρέξει στο cloud μέσα σε μερικά λεπτά.","abstract_html":"Οι δορυφόροι Meteosat παρέχουν μεγάλη ποικιλία σε προϊόντα δεδομένων τα οποία αφορούν την έρευνα και την παρακολούθηση του κλίματος. Η δεύτερη γενιά δορυφόρων Meteosat (Meteosat Second Generation) είναι αυτή τη στιγμή πλήρως επιχειρησιακοί, ενώ ο πρώτος δορυφόρος της τρίτης γενιάς εκτοξεύτηκε τον Δεκέμβριο του 2022 και ο οποίος μεταδίδει ήδη δεδομένα ενώ βρίσκεται στη λειτουργικη του φάση. Με την επιστήμη δεδομένων να γίνεται ταχέως ένα βασικό στοιχείο τόσο ακαδημαϊκά όσο και στη βιομηχανία, και με τον όγκο των διαθέσιμων δεδομένων να γίνεται ολοένα και μεγαλύτερος, η αποτελεσματική διαχείριση και επεξεργασία δεδομένων είναι ουσιώδεις για την πρόοδο όλων των σχετιζόμενων πεδίων. Για αυτό το σκοπό, η διπλωματική αυτή έχει ως στόχο να συνεισφέρει με την κατασκευή ενός pipeline το οποίο μπορεί εν δυνάμει να αποτελέσει τη βάση για μία πιο ευρεία μεθοδολογία σχετικά με τα δορυφορικά δεδομένα. Σε αυτό το πλαίσιο, χρησιμοποιούνται ανεπεξέργαστα .txt αρχεία τα οποία αντιστοιχούν σε τροχιές νεφών και τα οποία παράγονται από έναν αλγόριθμο που ανιχνεύει και παρακολουθεί Mesoscale Conventive Systems σε εικόνες Meteosat. Αρχικά, γίνεται μία προ-επεξεργασία και εξαγωγή χαρακτηριστικών, με στόχο να εισαχθούν τα επεξεργασμένα δεδομένα σε μία SQL βάση δεδομένων. Παράλληλα, αυτοματοποιείται η διαδικασία ενσωμάτωσης νέων δεδομένων στα ήδη υπάρχοντα, αφού όλη η διεργασία έχει στηθεί στο cloud, εξασφαλίζοντας με αυτόν τον τρόπο τη διαθεσιμότητα, την ασφάλεια και την επεκτασιμότητα των δεδομένων. Επιπλέον, αναπτύσσεται μία διαδικτυακή εφαρμογή (web application), στην οποία ο χρήστης μπορεί να επιλέξει και να φιλτράρει τα διαθέσιμα δεδομένα βάσει κάποιων κριτηρίων, χωρίς να απαιτείται γνώση της γλώσσας SQL, κάνοντας έτσι τη διαδικασία πιο προσιτή. Η παρούσα εργασία μπορεί να ενσωματωθεί σε ένα ευρύτερο πλαίσιο όσον αφορά την επεξεργασία όχι μόνο δορυφορικών δεδομένων, αλλά και δεδομένων που προέρχονται από άλλες πηγές, ενώ ταυτόχρονα απευθύνεται τόσο στον επιστημονικό όσο και στο βιομηχανικό τομέα. Η παρούσα διπλωματική αποτελεί από μόνη της μία συνεισφορά στην κοινότητα ανοιχτού λογισμικού, αφού ο πλήρης κώδικας είναι διαθέσιμος δωρεάν μέσω ανοικτών αποθετηρίων (repositories), επιτρέποντας στον οποιονδήποτε να τον τρέξει στο cloud μέσα σε μερικά λεπτά.","abstract_has_math":false,"creators":["Αγγελοπούλου Πηνελόπη","Angelopoulou Pinelopi"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2023,"date_issued":"2023","date_published":"2023","updated_at":"2026-11-19T06:22:54Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3336417"],"render_values":[{"text":"uoadl:3336417","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3336417","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3336417","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3336417","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Αγγελοπούλου Πηνελόπη","Angelopoulou Pinelopi"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2023"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3336417","https://pergamos.lib.uoa.gr/uoa/dl/object/3336417"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Οι δορυφόροι Meteosat παρέχουν μεγάλη ποικιλία σε προϊόντα δεδομένων τα οποία αφορούν την έρευνα και την παρακολούθηση του κλίματος. Η δεύτερη γενιά δορυφόρων Meteosat (Meteosat Second Generation) είναι αυτή τη στιγμή πλήρως επιχειρησιακοί, ενώ ο πρώτος δορυφόρος της τρίτης γενιάς εκτοξεύτηκε τον Δεκέμβριο του 2022 και ο οποίος μεταδίδει ήδη δεδομένα ενώ βρίσκεται στη λειτουργικη του φάση. Με την επιστήμη δεδομένων να γίνεται ταχέως ένα βασικό στοιχείο τόσο ακαδημαϊκά όσο και στη βιομηχανία, και με τον όγκο των διαθέσιμων δεδομένων να γίνεται ολοένα και μεγαλύτερος, η αποτελεσματική διαχείριση και επεξεργασία δεδομένων είναι ουσιώδεις για την πρόοδο όλων των σχετιζόμενων πεδίων. Για αυτό το σκοπό, η διπλωματική αυτή έχει ως στόχο να συνεισφέρει με την κατασκευή ενός pipeline το οποίο μπορεί εν δυνάμει να αποτελέσει τη βάση για μία πιο ευρεία μεθοδολογία σχετικά με τα δορυφορικά δεδομένα. Σε αυτό το πλαίσιο, χρησιμοποιούνται ανεπεξέργαστα .txt αρχεία τα οποία αντιστοιχούν σε τροχιές νεφών και τα οποία παράγονται από έναν αλγόριθμο που ανιχνεύει και παρακολουθεί Mesoscale Conventive Systems σε εικόνες Meteosat. Αρχικά, γίνεται μία προ-επεξεργασία και εξαγωγή χαρακτηριστικών, με στόχο να εισαχθούν τα επεξεργασμένα δεδομένα σε μία SQL βάση δεδομένων. Παράλληλα, αυτοματοποιείται η διαδικασία ενσωμάτωσης νέων δεδομένων στα ήδη υπάρχοντα, αφού όλη η διεργασία έχει στηθεί στο cloud, εξασφαλίζοντας με αυτόν τον τρόπο τη διαθεσιμότητα, την ασφάλεια και την επεκτασιμότητα των δεδομένων. Επιπλέον, αναπτύσσεται μία διαδικτυακή εφαρμογή (web application), στην οποία ο χρήστης μπορεί να επιλέξει και να φιλτράρει τα διαθέσιμα δεδομένα βάσει κάποιων κριτηρίων, χωρίς να απαιτείται γνώση της γλώσσας SQL, κάνοντας έτσι τη διαδικασία πιο προσιτή. Η παρούσα εργασία μπορεί να ενσωματωθεί σε ένα ευρύτερο πλαίσιο όσον αφορά την επεξεργασία όχι μόνο δορυφορικών δεδομένων, αλλά και δεδομένων που προέρχονται από άλλες πηγές, ενώ ταυτόχρονα απευθύνεται τόσο στον επιστημονικό όσο και στο βιομηχανικό τομέα. Η παρούσα διπλωματική αποτελεί από μόνη της μία συνεισφορά στην κοινότητα ανοιχτού λογισμικού, αφού ο πλήρης κώδικας είναι διαθέσιμος δωρεάν μέσω ανοικτών αποθετηρίων (repositories), επιτρέποντας στον οποιονδήποτε να τον τρέξει στο cloud μέσα σε μερικά λεπτά.","Meteosat satellites provide a large variety of data products concerning climate monitoring and research. The Meteosat Second Generation Satellites are now fully operational, with the first satellite of the Third Generation deployed in December 2022 and already transmitting data in its commissioning phase. With data science rapidly becoming a key component in both science and the industry, and with the volume of available data ever expanding, efficient data management and processing are essential to the progress of all the relevant fields. To this end, this Thesis aims to contribute by constructing a pipeline that can potentially be the base of a broader methodology for working with satellite data. In this context, raw .txt data files that represent cloud trajectories are utilized, generated from an algorithm that detects and tracks Mesoscale Convective Systems in Meteosat images. An initial preprocessing and feature extraction procedure is carried out, intending to utilize the processed data in order to populate a SQL database. Meanwhile, the process of incorporating new data to the existing dataset is automated, since everything is hosted on the cloud, ensuring data availability, scalability and security. Additionally, to achieve a user-friendly experience, a web application is developed, where users can select and filter the available data based on certain criteria, as well as download the corresponding raw files for further individual use, without the need for SQL knowledge. This project can be incorporated in a broader framework for processing data originating not only from satellites, but also from other sources, while being addressed to both the science and the industry sector. The present Thesis itself is a contribution to the open source community, since the full codebase is freely distributed and made available through open repositories, thus allowing anyone to deploy it to the cloud within minutes."]},{"key":"dc:title","label":"Title","values":["Cloud-based automation for satellite data processing"]}]}],"canonical_facts":{"dc:creator":["Αγγελοπούλου Πηνελόπη","Angelopoulou Pinelopi"],"dc:date":["2023"],"dc:description":["Οι δορυφόροι Meteosat παρέχουν μεγάλη ποικιλία σε προϊόντα δεδομένων τα οποία αφορούν την έρευνα και την παρακολούθηση του κλίματος. Η δεύτερη γενιά δορυφόρων Meteosat (Meteosat Second Generation) είναι αυτή τη στιγμή πλήρως επιχειρησιακοί, ενώ ο πρώτος δορυφόρος της τρίτης γενιάς εκτοξεύτηκε τον Δεκέμβριο του 2022 και ο οποίος μεταδίδει ήδη δεδομένα ενώ βρίσκεται στη λειτουργικη του φάση. Με την επιστήμη δεδομένων να γίνεται ταχέως ένα βασικό στοιχείο τόσο ακαδημαϊκά όσο και στη βιομηχανία, και με τον όγκο των διαθέσιμων δεδομένων να γίνεται ολοένα και μεγαλύτερος, η αποτελεσματική διαχείριση και επεξεργασία δεδομένων είναι ουσιώδεις για την πρόοδο όλων των σχετιζόμενων πεδίων. Για αυτό το σκοπό, η διπλωματική αυτή έχει ως στόχο να συνεισφέρει με την κατασκευή ενός pipeline το οποίο μπορεί εν δυνάμει να αποτελέσει τη βάση για μία πιο ευρεία μεθοδολογία σχετικά με τα δορυφορικά δεδομένα. Σε αυτό το πλαίσιο, χρησιμοποιούνται ανεπεξέργαστα .txt αρχεία τα οποία αντιστοιχούν σε τροχιές νεφών και τα οποία παράγονται από έναν αλγόριθμο που ανιχνεύει και παρακολουθεί Mesoscale Conventive Systems σε εικόνες Meteosat. Αρχικά, γίνεται μία προ-επεξεργασία και εξαγωγή χαρακτηριστικών, με στόχο να εισαχθούν τα επεξεργασμένα δεδομένα σε μία SQL βάση δεδομένων. Παράλληλα, αυτοματοποιείται η διαδικασία ενσωμάτωσης νέων δεδομένων στα ήδη υπάρχοντα, αφού όλη η διεργασία έχει στηθεί στο cloud, εξασφαλίζοντας με αυτόν τον τρόπο τη διαθεσιμότητα, την ασφάλεια και την επεκτασιμότητα των δεδομένων. Επιπλέον, αναπτύσσεται μία διαδικτυακή εφαρμογή (web application), στην οποία ο χρήστης μπορεί να επιλέξει και να φιλτράρει τα διαθέσιμα δεδομένα βάσει κάποιων κριτηρίων, χωρίς να απαιτείται γνώση της γλώσσας SQL, κάνοντας έτσι τη διαδικασία πιο προσιτή. Η παρούσα εργασία μπορεί να ενσωματωθεί σε ένα ευρύτερο πλαίσιο όσον αφορά την επεξεργασία όχι μόνο δορυφορικών δεδομένων, αλλά και δεδομένων που προέρχονται από άλλες πηγές, ενώ ταυτόχρονα απευθύνεται τόσο στον επιστημονικό όσο και στο βιομηχανικό τομέα. Η παρούσα διπλωματική αποτελεί από μόνη της μία συνεισφορά στην κοινότητα ανοιχτού λογισμικού, αφού ο πλήρης κώδικας είναι διαθέσιμος δωρεάν μέσω ανοικτών αποθετηρίων (repositories), επιτρέποντας στον οποιονδήποτε να τον τρέξει στο cloud μέσα σε μερικά λεπτά.","Meteosat satellites provide a large variety of data products concerning climate monitoring and research. The Meteosat Second Generation Satellites are now fully operational, with the first satellite of the Third Generation deployed in December 2022 and already transmitting data in its commissioning phase. With data science rapidly becoming a key component in both science and the industry, and with the volume of available data ever expanding, efficient data management and processing are essential to the progress of all the relevant fields. To this end, this Thesis aims to contribute by constructing a pipeline that can potentially be the base of a broader methodology for working with satellite data. In this context, raw .txt data files that represent cloud trajectories are utilized, generated from an algorithm that detects and tracks Mesoscale Convective Systems in Meteosat images. An initial preprocessing and feature extraction procedure is carried out, intending to utilize the processed data in order to populate a SQL database. Meanwhile, the process of incorporating new data to the existing dataset is automated, since everything is hosted on the cloud, ensuring data availability, scalability and security. Additionally, to achieve a user-friendly experience, a web application is developed, where users can select and filter the available data based on certain criteria, as well as download the corresponding raw files for further individual use, without the need for SQL knowledge. This project can be incorporated in a broader framework for processing data originating not only from satellites, but also from other sources, while being addressed to both the science and the industry sector. The present Thesis itself is a contribution to the open source community, since the full codebase is freely distributed and made available through open repositories, thus allowing anyone to deploy it to the cloud within minutes."],"dc:identifier":["uoadl:3336417","https://pergamos.lib.uoa.gr/uoa/dl/object/3336417"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Cloud-based automation for satellite data processing"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:22:54Z"}