{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5413116"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5413116","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Edge-to-Cloud Reduction of Multivariate IoT Streams via Online Autoregression","abstract":"Η συνεχής ανάπτυξη των υποδομών IoT αυξάνει τον όγκο των δεδομένων που πρέπει να μεταφερθούν από συσκευές αιχμής (edge devices) προς υποδομές αποθήκευσης νέφους (cloud storage) ή CDN. Η αποστολή κάθε ακατέργαστης παρατήρησης μπορεί να δημιουργήσει περιττό κόστος επικοινωνίας, αποθήκευσης και επεξεργασίας, ιδιαίτερα όταν η ροή είναι πολυμεταβλητή και παράγεται συνεχώς. Η παρούσα διπλωματική εργασία αντιμετωπίζει αυτό το πρόβλημα μέσω του σχεδιασμού και της αξιολόγησης ενός online μηχανισμού μείωσης δεδομένων από την αιχμή προς το νέφος (cloud) για πολυμεταβλητές χρονοσειρές IoT. Ο προτεινόμενος μηχανισμός διατηρεί στην αιχμή του δικτύου έναν ενδιάμεσο χώρο δεδομένων (data buffer) ως τρέχουσα σύνοψη της ροής. Χρησιμοποιεί ένα online μοντέλο Διανυσματικής Αυτοπαλινδρόμησης (Vector Autoregression, VAR) για να συγκρίνει την προβολή του επόμενου βήματος που προκύπτει από πρόσφατα σημεία της ροής με την αντίστοιχη προβολή που προκύπτει από τον ενδιάμεσο χώρο. Το μοντέλο VAR υλοποιείται με πολλαπλούς παλινδρομητές στοχαστικής καθόδου κλίσης (stochastic gradient descent, SGD), επιτρέποντας την προοδευτική εκπαίδευση καθώς φθάνουν νέα δεδομένα. Πριν από την εκπαίδευση και τον υπολογισμό της απόκλισης εφαρμόζεται κανονικοποίηση, ώστε να ληφθούν υπόψη οι ετερογενείς κλίμακες των μεταβλητών του συνόλου δεδομένων. Όταν η απόκλιση των προβολών παραμένει κάτω από ένα κατώφλι, η τρέχουσα εποχή συνεχίζεται. Όταν το κατώφλι ξεπεραστεί, ο ενδιάμεσος χώρος αποστέλλεται στο νέφος και ξεκινά νέα εποχή. Επομένως, το τελικό σύνολο δεδομένων στο νέφος αποτελείται μόνο από επιλεγμένα περιεχόμενα του ενδιάμεσου χώρου. Στο πλαίσιο της μεθοδολογίας πραγματοποιούνται διερευνητική ανάλυση δεδομένων, έλεγχοι στασιμότητας, πειράματα βασισμένα σε παραμετροποίηση και αξιολόγηση με βάση τη συσταδοποίηση (clustering). Ο Adjusted Rand Index (ARI) χρησιμοποιείται ως το βασικό μέτρο ομοιότητας μεταξύ της αρχικής ροής και του μειωμένου συνόλου δεδομένων στο νέφος, ενώ ο λόγος αποθήκευσης στο νέφος, ο ρυθμός συμπίεσης, ο αριθμός αποστολών και ο χρόνος εκτέλεσης της προσομοίωσης χρησιμοποιούνται για την ερμηνεία του κόστους και της συμπεριφοράς κάθε παραμετροποίησης. Πειράματα σε σύνολο τηλεμετρικών δεδομένων πλοίου με 29 μεταβλητές δείχνουν ότι ο μηχανισμός μπορεί να επιτύχει σημαντική μείωση δεδομένων διατηρώντας υψηλή ομοιότητα συσταδοποίησης σε ευνοϊκές παραμετροποιήσεις. Τα αποτελέσματα δείχνουν επίσης ότι η επίδοση εξαρτάται από την τάξη υστέρησης (lag order), το μέγεθος του ενδιάμεσου χώρου, το κατώφλι απόκλισης, την παραμετροποίηση της εκπαίδευσης, την παραμετροποίηση της συσταδοποίησης και το επιλεγμένο υποσύνολο χαρακτηριστικών. Συνολικά, τα αποτελέσματα δείχνουν ότι ο προτεινόμενος μηχανισμός μείωσης με βάση VAR μπορεί να προσφέρει υψηλή συμπίεση διατηρώντας υψηλή ομοιότητα μεταξύ της ροής και του μειωμένου συνόλου δεδομένων στο νέφος.","abstract_html":"Η συνεχής ανάπτυξη των υποδομών IoT αυξάνει τον όγκο των δεδομένων που πρέπει να μεταφερθούν από συσκευές αιχμής (edge devices) προς υποδομές αποθήκευσης νέφους (cloud storage) ή CDN. Η αποστολή κάθε ακατέργαστης παρατήρησης μπορεί να δημιουργήσει περιττό κόστος επικοινωνίας, αποθήκευσης και επεξεργασίας, ιδιαίτερα όταν η ροή είναι πολυμεταβλητή και παράγεται συνεχώς. Η παρούσα διπλωματική εργασία αντιμετωπίζει αυτό το πρόβλημα μέσω του σχεδιασμού και της αξιολόγησης ενός online μηχανισμού μείωσης δεδομένων από την αιχμή προς το νέφος (cloud) για πολυμεταβλητές χρονοσειρές IoT. Ο προτεινόμενος μηχανισμός διατηρεί στην αιχμή του δικτύου έναν ενδιάμεσο χώρο δεδομένων (data buffer) ως τρέχουσα σύνοψη της ροής. Χρησιμοποιεί ένα online μοντέλο Διανυσματικής Αυτοπαλινδρόμησης (Vector Autoregression, VAR) για να συγκρίνει την προβολή του επόμενου βήματος που προκύπτει από πρόσφατα σημεία της ροής με την αντίστοιχη προβολή που προκύπτει από τον ενδιάμεσο χώρο. Το μοντέλο VAR υλοποιείται με πολλαπλούς παλινδρομητές στοχαστικής καθόδου κλίσης (stochastic gradient descent, SGD), επιτρέποντας την προοδευτική εκπαίδευση καθώς φθάνουν νέα δεδομένα. Πριν από την εκπαίδευση και τον υπολογισμό της απόκλισης εφαρμόζεται κανονικοποίηση, ώστε να ληφθούν υπόψη οι ετερογενείς κλίμακες των μεταβλητών του συνόλου δεδομένων. Όταν η απόκλιση των προβολών παραμένει κάτω από ένα κατώφλι, η τρέχουσα εποχή συνεχίζεται. Όταν το κατώφλι ξεπεραστεί, ο ενδιάμεσος χώρος αποστέλλεται στο νέφος και ξεκινά νέα εποχή. Επομένως, το τελικό σύνολο δεδομένων στο νέφος αποτελείται μόνο από επιλεγμένα περιεχόμενα του ενδιάμεσου χώρου. Στο πλαίσιο της μεθοδολογίας πραγματοποιούνται διερευνητική ανάλυση δεδομένων, έλεγχοι στασιμότητας, πειράματα βασισμένα σε παραμετροποίηση και αξιολόγηση με βάση τη συσταδοποίηση (clustering). Ο Adjusted Rand Index (ARI) χρησιμοποιείται ως το βασικό μέτρο ομοιότητας μεταξύ της αρχικής ροής και του μειωμένου συνόλου δεδομένων στο νέφος, ενώ ο λόγος αποθήκευσης στο νέφος, ο ρυθμός συμπίεσης, ο αριθμός αποστολών και ο χρόνος εκτέλεσης της προσομοίωσης χρησιμοποιούνται για την ερμηνεία του κόστους και της συμπεριφοράς κάθε παραμετροποίησης. Πειράματα σε σύνολο τηλεμετρικών δεδομένων πλοίου με 29 μεταβλητές δείχνουν ότι ο μηχανισμός μπορεί να επιτύχει σημαντική μείωση δεδομένων διατηρώντας υψηλή ομοιότητα συσταδοποίησης σε ευνοϊκές παραμετροποιήσεις. Τα αποτελέσματα δείχνουν επίσης ότι η επίδοση εξαρτάται από την τάξη υστέρησης (lag order), το μέγεθος του ενδιάμεσου χώρου, το κατώφλι απόκλισης, την παραμετροποίηση της εκπαίδευσης, την παραμετροποίηση της συσταδοποίησης και το επιλεγμένο υποσύνολο χαρακτηριστικών. Συνολικά, τα αποτελέσματα δείχνουν ότι ο προτεινόμενος μηχανισμός μείωσης με βάση VAR μπορεί να προσφέρει υψηλή συμπίεση διατηρώντας υψηλή ομοιότητα μεταξύ της ροής και του μειωμένου συνόλου δεδομένων στο νέφος.","abstract_has_math":false,"creators":["Τζόγκα Κωσταντίν","Tzogka Kostantin"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:19:55Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5413116"],"render_values":[{"text":"uoadl:5413116","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5413116","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5413116","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5413116","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Τζόγκα Κωσταντίν","Tzogka Kostantin"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5413116","https://pergamos.lib.uoa.gr/uoa/dl/object/5413116"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η συνεχής ανάπτυξη των υποδομών IoT αυξάνει τον όγκο των δεδομένων που πρέπει να μεταφερθούν από συσκευές αιχμής (edge devices) προς υποδομές αποθήκευσης νέφους (cloud storage) ή CDN. Η αποστολή κάθε ακατέργαστης παρατήρησης μπορεί να δημιουργήσει περιττό κόστος επικοινωνίας, αποθήκευσης και επεξεργασίας, ιδιαίτερα όταν η ροή είναι πολυμεταβλητή και παράγεται συνεχώς. Η παρούσα διπλωματική εργασία αντιμετωπίζει αυτό το πρόβλημα μέσω του σχεδιασμού και της αξιολόγησης ενός online μηχανισμού μείωσης δεδομένων από την αιχμή προς το νέφος (cloud) για πολυμεταβλητές χρονοσειρές IoT. Ο προτεινόμενος μηχανισμός διατηρεί στην αιχμή του δικτύου έναν ενδιάμεσο χώρο δεδομένων (data buffer) ως τρέχουσα σύνοψη της ροής. Χρησιμοποιεί ένα online μοντέλο Διανυσματικής Αυτοπαλινδρόμησης (Vector Autoregression, VAR) για να συγκρίνει την προβολή του επόμενου βήματος που προκύπτει από πρόσφατα σημεία της ροής με την αντίστοιχη προβολή που προκύπτει από τον ενδιάμεσο χώρο. Το μοντέλο VAR υλοποιείται με πολλαπλούς παλινδρομητές στοχαστικής καθόδου κλίσης (stochastic gradient descent, SGD), επιτρέποντας την προοδευτική εκπαίδευση καθώς φθάνουν νέα δεδομένα. Πριν από την εκπαίδευση και τον υπολογισμό της απόκλισης εφαρμόζεται κανονικοποίηση, ώστε να ληφθούν υπόψη οι ετερογενείς κλίμακες των μεταβλητών του συνόλου δεδομένων. Όταν η απόκλιση των προβολών παραμένει κάτω από ένα κατώφλι, η τρέχουσα εποχή συνεχίζεται. Όταν το κατώφλι ξεπεραστεί, ο ενδιάμεσος χώρος αποστέλλεται στο νέφος και ξεκινά νέα εποχή. Επομένως, το τελικό σύνολο δεδομένων στο νέφος αποτελείται μόνο από επιλεγμένα περιεχόμενα του ενδιάμεσου χώρου. Στο πλαίσιο της μεθοδολογίας πραγματοποιούνται διερευνητική ανάλυση δεδομένων, έλεγχοι στασιμότητας, πειράματα βασισμένα σε παραμετροποίηση και αξιολόγηση με βάση τη συσταδοποίηση (clustering). Ο Adjusted Rand Index (ARI) χρησιμοποιείται ως το βασικό μέτρο ομοιότητας μεταξύ της αρχικής ροής και του μειωμένου συνόλου δεδομένων στο νέφος, ενώ ο λόγος αποθήκευσης στο νέφος, ο ρυθμός συμπίεσης, ο αριθμός αποστολών και ο χρόνος εκτέλεσης της προσομοίωσης χρησιμοποιούνται για την ερμηνεία του κόστους και της συμπεριφοράς κάθε παραμετροποίησης. Πειράματα σε σύνολο τηλεμετρικών δεδομένων πλοίου με 29 μεταβλητές δείχνουν ότι ο μηχανισμός μπορεί να επιτύχει σημαντική μείωση δεδομένων διατηρώντας υψηλή ομοιότητα συσταδοποίησης σε ευνοϊκές παραμετροποιήσεις. Τα αποτελέσματα δείχνουν επίσης ότι η επίδοση εξαρτάται από την τάξη υστέρησης (lag order), το μέγεθος του ενδιάμεσου χώρου, το κατώφλι απόκλισης, την παραμετροποίηση της εκπαίδευσης, την παραμετροποίηση της συσταδοποίησης και το επιλεγμένο υποσύνολο χαρακτηριστικών. Συνολικά, τα αποτελέσματα δείχνουν ότι ο προτεινόμενος μηχανισμός μείωσης με βάση VAR μπορεί να προσφέρει υψηλή συμπίεση διατηρώντας υψηλή ομοιότητα μεταξύ της ροής και του μειωμένου συνόλου δεδομένων στο νέφος.","The continuous growth of IoT deployments increases the volume of data that must be transferred from edge devices to cloud or CDN storage infrastructures. Forwarding every raw observation can create unnecessary communication, storage, and processing cost, especially when the stream is multivariate and arrives continuously. This thesis addresses this problem by designing and evaluating an online edge-to-cloud reduction mechanism for multivariate IoT time series. The proposed mechanism keeps a bounded buffer at the edge as the current synopsis of the stream. The mechanism uses an online Vector Autoregression (VAR) model to compare the next-step projection derived from recent stream data points with the next-step projection derived from the buffer. The VAR model is implemented with multiple stochastic-gradient regressors, allowing training to proceed incrementally as new data arrive. Standard scaling is applied before training and divergence comparison to account for the heterogeneous scales of the dataset variables. When the projection divergence remains below a threshold, the current epoch continues. When the threshold is exceeded, the buffer is flushed to the cloud and a new epoch begins. The final cloud dataset consists of selected buffer contents instead of the entire original stream. The methodology includes exploratory data analysis, stationarity testing, a configuration-driven experimental workflow, and a clustering-based evaluation procedure. Adjusted Rand Index (ARI) is used as the primary similarity metric between the stream and the reduced cloud dataset, while cloud storage ratio, compression rate, number of divergences, and simulation execution time are used to interpret the cost and behavior of each configuration. Experiments on a 29-variable vessel telemetry dataset indicate that selected configurations achieve strong data reduction while preserving clustering similarity. Performance depends on lag order, buffer size, divergence threshold, learning configuration, clustering configuration, and selected feature subset. Overall, the results indicate that the proposed online VAR reduction mechanism can provide high compression while preserving meaningful clustering similarity between the stream and the reduced cloud dataset."]},{"key":"dc:title","label":"Title","values":["Edge-to-Cloud Reduction of Multivariate IoT Streams via Online Autoregression"]}]}],"canonical_facts":{"dc:creator":["Τζόγκα Κωσταντίν","Tzogka Kostantin"],"dc:date":["2026"],"dc:description":["Η συνεχής ανάπτυξη των υποδομών IoT αυξάνει τον όγκο των δεδομένων που πρέπει να μεταφερθούν από συσκευές αιχμής (edge devices) προς υποδομές αποθήκευσης νέφους (cloud storage) ή CDN. Η αποστολή κάθε ακατέργαστης παρατήρησης μπορεί να δημιουργήσει περιττό κόστος επικοινωνίας, αποθήκευσης και επεξεργασίας, ιδιαίτερα όταν η ροή είναι πολυμεταβλητή και παράγεται συνεχώς. Η παρούσα διπλωματική εργασία αντιμετωπίζει αυτό το πρόβλημα μέσω του σχεδιασμού και της αξιολόγησης ενός online μηχανισμού μείωσης δεδομένων από την αιχμή προς το νέφος (cloud) για πολυμεταβλητές χρονοσειρές IoT. Ο προτεινόμενος μηχανισμός διατηρεί στην αιχμή του δικτύου έναν ενδιάμεσο χώρο δεδομένων (data buffer) ως τρέχουσα σύνοψη της ροής. Χρησιμοποιεί ένα online μοντέλο Διανυσματικής Αυτοπαλινδρόμησης (Vector Autoregression, VAR) για να συγκρίνει την προβολή του επόμενου βήματος που προκύπτει από πρόσφατα σημεία της ροής με την αντίστοιχη προβολή που προκύπτει από τον ενδιάμεσο χώρο. Το μοντέλο VAR υλοποιείται με πολλαπλούς παλινδρομητές στοχαστικής καθόδου κλίσης (stochastic gradient descent, SGD), επιτρέποντας την προοδευτική εκπαίδευση καθώς φθάνουν νέα δεδομένα. Πριν από την εκπαίδευση και τον υπολογισμό της απόκλισης εφαρμόζεται κανονικοποίηση, ώστε να ληφθούν υπόψη οι ετερογενείς κλίμακες των μεταβλητών του συνόλου δεδομένων. Όταν η απόκλιση των προβολών παραμένει κάτω από ένα κατώφλι, η τρέχουσα εποχή συνεχίζεται. Όταν το κατώφλι ξεπεραστεί, ο ενδιάμεσος χώρος αποστέλλεται στο νέφος και ξεκινά νέα εποχή. Επομένως, το τελικό σύνολο δεδομένων στο νέφος αποτελείται μόνο από επιλεγμένα περιεχόμενα του ενδιάμεσου χώρου. Στο πλαίσιο της μεθοδολογίας πραγματοποιούνται διερευνητική ανάλυση δεδομένων, έλεγχοι στασιμότητας, πειράματα βασισμένα σε παραμετροποίηση και αξιολόγηση με βάση τη συσταδοποίηση (clustering). Ο Adjusted Rand Index (ARI) χρησιμοποιείται ως το βασικό μέτρο ομοιότητας μεταξύ της αρχικής ροής και του μειωμένου συνόλου δεδομένων στο νέφος, ενώ ο λόγος αποθήκευσης στο νέφος, ο ρυθμός συμπίεσης, ο αριθμός αποστολών και ο χρόνος εκτέλεσης της προσομοίωσης χρησιμοποιούνται για την ερμηνεία του κόστους και της συμπεριφοράς κάθε παραμετροποίησης. Πειράματα σε σύνολο τηλεμετρικών δεδομένων πλοίου με 29 μεταβλητές δείχνουν ότι ο μηχανισμός μπορεί να επιτύχει σημαντική μείωση δεδομένων διατηρώντας υψηλή ομοιότητα συσταδοποίησης σε ευνοϊκές παραμετροποιήσεις. Τα αποτελέσματα δείχνουν επίσης ότι η επίδοση εξαρτάται από την τάξη υστέρησης (lag order), το μέγεθος του ενδιάμεσου χώρου, το κατώφλι απόκλισης, την παραμετροποίηση της εκπαίδευσης, την παραμετροποίηση της συσταδοποίησης και το επιλεγμένο υποσύνολο χαρακτηριστικών. Συνολικά, τα αποτελέσματα δείχνουν ότι ο προτεινόμενος μηχανισμός μείωσης με βάση VAR μπορεί να προσφέρει υψηλή συμπίεση διατηρώντας υψηλή ομοιότητα μεταξύ της ροής και του μειωμένου συνόλου δεδομένων στο νέφος.","The continuous growth of IoT deployments increases the volume of data that must be transferred from edge devices to cloud or CDN storage infrastructures. Forwarding every raw observation can create unnecessary communication, storage, and processing cost, especially when the stream is multivariate and arrives continuously. This thesis addresses this problem by designing and evaluating an online edge-to-cloud reduction mechanism for multivariate IoT time series. The proposed mechanism keeps a bounded buffer at the edge as the current synopsis of the stream. The mechanism uses an online Vector Autoregression (VAR) model to compare the next-step projection derived from recent stream data points with the next-step projection derived from the buffer. The VAR model is implemented with multiple stochastic-gradient regressors, allowing training to proceed incrementally as new data arrive. Standard scaling is applied before training and divergence comparison to account for the heterogeneous scales of the dataset variables. When the projection divergence remains below a threshold, the current epoch continues. When the threshold is exceeded, the buffer is flushed to the cloud and a new epoch begins. The final cloud dataset consists of selected buffer contents instead of the entire original stream. The methodology includes exploratory data analysis, stationarity testing, a configuration-driven experimental workflow, and a clustering-based evaluation procedure. Adjusted Rand Index (ARI) is used as the primary similarity metric between the stream and the reduced cloud dataset, while cloud storage ratio, compression rate, number of divergences, and simulation execution time are used to interpret the cost and behavior of each configuration. Experiments on a 29-variable vessel telemetry dataset indicate that selected configurations achieve strong data reduction while preserving clustering similarity. Performance depends on lag order, buffer size, divergence threshold, learning configuration, clustering configuration, and selected feature subset. Overall, the results indicate that the proposed online VAR reduction mechanism can provide high compression while preserving meaningful clustering similarity between the stream and the reduced cloud dataset."],"dc:identifier":["uoadl:5413116","https://pergamos.lib.uoa.gr/uoa/dl/object/5413116"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Edge-to-Cloud Reduction of Multivariate IoT Streams via Online Autoregression"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:19:55Z"}