{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3245809"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3245809","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"A systems' approach for reducing big data at the edge","abstract":"Η επιταχυνόμενη αύξηση της χρήσης συσκευών στην άκρη του δικτύου, έχει πολλαπλασιάσει τον όγκο των δεδομένων που παράγονται από αυτές. Σε αρκετές περιπτώσεις η παραγόμενα πληροφορία αποτελείται από πολυδιάστατα δεδομένα. Προκειμένου λοιπόν να χειριστούμε τα δεδομένα αυτού του τύπου επαρκώς, η διάστασή τους πρέπει να μειωθεί. Η μέθοδος της μείωσης των διαστάσεων, είναι ο μετασχηματισμός δεδομένων πολλών διαστάσεων σε μια ουσιαστική αναπαράσταση με λιγότερα χαρακτηριστικά (διαστάσεις). Ειδικά στο τοπίο του Διαδικτύου των Πραγμάτων, η εκθετική αύξηση των παραγόμενων δεδομένων από κάθε είδους συσκευές, απαιτεί αποτελεσματικές μεθόδους μεταφοράς ακατέργαστων πληροφοριών από την άκρη του δικτύου στα ανώτερα στρώματα της αρχιτεκτονικής του Διαδικτύου των Πραγμάτων. Στη συνέχεια, εξειδικευμένα υπολογιστικά συστήματα θα μετασχηματίσουν τα συσσωρευμένα δεδομένα και θα τα προετοιμάσουν για κατανάλωση από τους τελικούς χρήστες ή άλλες εφαρμογές και υπηρεσίες. Στο πλαίσιο της παρούσας διπλωματικής εργασίας, έγινε προσπάθεια να παρουσιαστεί μια καθιερωμένη μέθοδος μείωσης δεδομένων βασισμένη σε Coresets, η οποία έχει δυνατότητα αναστροφής των μετασχηματισμών. Στη συνέχεια προχωρήσαμε στην υλοποίηση ενός αλγορίθμου ροής βασισμένο σε Coresets, με αποδεδειγμένη βεβαιότητα στον περιορισμό του αθροιστικού σφάλματος. Ο προτεινόμενος σχεδιασμός του συστήματος ακολουθεί ένα σύγχρονο πρότυπο χωρίς διακομιστές (serverless), το οποίο δεν απαιτεί την παροχή οποιασδήποτε υπολογιστικής υποδομής και κλιμακώνεται αυτόματα για την υποστήριξη μεγάλων φορτίων. Τέλος, το σύστημα δοκιμάστηκε με ένα πραγματικό σύνολο δεδομένων πολλών διαστάσεων, με μια ποικιλία παραμέτρων διαμόρφωσης ώστε να παράγουμε τα κατάλληλα συμπεράσματα τόσο για τα κέρδη, όσο και για τα σφάλματα που ενδέχεται να εισαχθούν κατά την εφαρμογή της διαδικασίας μείωσης των διαστάσεων.","abstract_html":"Η επιταχυνόμενη αύξηση της χρήσης συσκευών στην άκρη του δικτύου, έχει πολλαπλασιάσει τον όγκο των δεδομένων που παράγονται από αυτές. Σε αρκετές περιπτώσεις η παραγόμενα πληροφορία αποτελείται από πολυδιάστατα δεδομένα. Προκειμένου λοιπόν να χειριστούμε τα δεδομένα αυτού του τύπου επαρκώς, η διάστασή τους πρέπει να μειωθεί. Η μέθοδος της μείωσης των διαστάσεων, είναι ο μετασχηματισμός δεδομένων πολλών διαστάσεων σε μια ουσιαστική αναπαράσταση με λιγότερα χαρακτηριστικά (διαστάσεις). Ειδικά στο τοπίο του Διαδικτύου των Πραγμάτων, η εκθετική αύξηση των παραγόμενων δεδομένων από κάθε είδους συσκευές, απαιτεί αποτελεσματικές μεθόδους μεταφοράς ακατέργαστων πληροφοριών από την άκρη του δικτύου στα ανώτερα στρώματα της αρχιτεκτονικής του Διαδικτύου των Πραγμάτων. Στη συνέχεια, εξειδικευμένα υπολογιστικά συστήματα θα μετασχηματίσουν τα συσσωρευμένα δεδομένα και θα τα προετοιμάσουν για κατανάλωση από τους τελικούς χρήστες ή άλλες εφαρμογές και υπηρεσίες. Στο πλαίσιο της παρούσας διπλωματικής εργασίας, έγινε προσπάθεια να παρουσιαστεί μια καθιερωμένη μέθοδος μείωσης δεδομένων βασισμένη σε Coresets, η οποία έχει δυνατότητα αναστροφής των μετασχηματισμών. Στη συνέχεια προχωρήσαμε στην υλοποίηση ενός αλγορίθμου ροής βασισμένο σε Coresets, με αποδεδειγμένη βεβαιότητα στον περιορισμό του αθροιστικού σφάλματος. Ο προτεινόμενος σχεδιασμός του συστήματος ακολουθεί ένα σύγχρονο πρότυπο χωρίς διακομιστές (serverless), το οποίο δεν απαιτεί την παροχή οποιασδήποτε υπολογιστικής υποδομής και κλιμακώνεται αυτόματα για την υποστήριξη μεγάλων φορτίων. Τέλος, το σύστημα δοκιμάστηκε με ένα πραγματικό σύνολο δεδομένων πολλών διαστάσεων, με μια ποικιλία παραμέτρων διαμόρφωσης ώστε να παράγουμε τα κατάλληλα συμπεράσματα τόσο για τα κέρδη, όσο και για τα σφάλματα που ενδέχεται να εισαχθούν κατά την εφαρμογή της διαδικασίας μείωσης των διαστάσεων.","abstract_has_math":false,"creators":["Βαρουξής Ιωάννης","Varouxis Ioannis"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2022,"date_issued":"2022","date_published":"2022","updated_at":"2026-11-19T06:20:13Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3245809"],"render_values":[{"text":"uoadl:3245809","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3245809","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3245809","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3245809","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Βαρουξής Ιωάννης","Varouxis Ioannis"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2022"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3245809","https://pergamos.lib.uoa.gr/uoa/dl/object/3245809"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η επιταχυνόμενη αύξηση της χρήσης συσκευών στην άκρη του δικτύου, έχει πολλαπλασιάσει τον όγκο των δεδομένων που παράγονται από αυτές. Σε αρκετές περιπτώσεις η παραγόμενα πληροφορία αποτελείται από πολυδιάστατα δεδομένα. Προκειμένου λοιπόν να χειριστούμε τα δεδομένα αυτού του τύπου επαρκώς, η διάστασή τους πρέπει να μειωθεί. Η μέθοδος της μείωσης των διαστάσεων, είναι ο μετασχηματισμός δεδομένων πολλών διαστάσεων σε μια ουσιαστική αναπαράσταση με λιγότερα χαρακτηριστικά (διαστάσεις). Ειδικά στο τοπίο του Διαδικτύου των Πραγμάτων, η εκθετική αύξηση των παραγόμενων δεδομένων από κάθε είδους συσκευές, απαιτεί αποτελεσματικές μεθόδους μεταφοράς ακατέργαστων πληροφοριών από την άκρη του δικτύου στα ανώτερα στρώματα της αρχιτεκτονικής του Διαδικτύου των Πραγμάτων. Στη συνέχεια, εξειδικευμένα υπολογιστικά συστήματα θα μετασχηματίσουν τα συσσωρευμένα δεδομένα και θα τα προετοιμάσουν για κατανάλωση από τους τελικούς χρήστες ή άλλες εφαρμογές και υπηρεσίες. Στο πλαίσιο της παρούσας διπλωματικής εργασίας, έγινε προσπάθεια να παρουσιαστεί μια καθιερωμένη μέθοδος μείωσης δεδομένων βασισμένη σε Coresets, η οποία έχει δυνατότητα αναστροφής των μετασχηματισμών. Στη συνέχεια προχωρήσαμε στην υλοποίηση ενός αλγορίθμου ροής βασισμένο σε Coresets, με αποδεδειγμένη βεβαιότητα στον περιορισμό του αθροιστικού σφάλματος. Ο προτεινόμενος σχεδιασμός του συστήματος ακολουθεί ένα σύγχρονο πρότυπο χωρίς διακομιστές (serverless), το οποίο δεν απαιτεί την παροχή οποιασδήποτε υπολογιστικής υποδομής και κλιμακώνεται αυτόματα για την υποστήριξη μεγάλων φορτίων. Τέλος, το σύστημα δοκιμάστηκε με ένα πραγματικό σύνολο δεδομένων πολλών διαστάσεων, με μια ποικιλία παραμέτρων διαμόρφωσης ώστε να παράγουμε τα κατάλληλα συμπεράσματα τόσο για τα κέρδη, όσο και για τα σφάλματα που ενδέχεται να εισαχθούν κατά την εφαρμογή της διαδικασίας μείωσης των διαστάσεων.","The accelerating growth in the use of devices at the network edge, has proliferated the volume of generated data. In several cases the generated information consists of multidimensional data. So, in order to handle such data adequately, its dimensionality needs to be decreased. The dimensionality reduction method is the transformation of high-dimensional data into a meaningful representation with less characteristics (dimensions). Especially in the Internet of Things landscape, the exponential growth of generated data by all kinds of devices, demands efficient methods to transfer raw information from the network edge to upper layers of the Internet of Things architecture. Then, specialized computing systems will transform accumulated data and prepare it for consumption by end users and other applications or services. In the context of this thesis, an effort was made to present an established data reduction method based on coresets, which provides reversible characteristics. We proceeded with the implementation of a coresets based streaming algorithm, with provable assurance in limiting the additive error. The proposed system design adheres to a modern serverless paradigm, that doesn’t require provisioning of any compute infrastructure and scales automatically to support large workloads. Subsequently, the implemented system was tested against a real-life high dimensional dataset, with a variety of configuration parameters to draw appropriate conclusions about both the gains and the errors that might be introduced when performing the dimensionality reduction procedure."]},{"key":"dc:title","label":"Title","values":["A systems' approach for reducing big data at the edge"]}]}],"canonical_facts":{"dc:creator":["Βαρουξής Ιωάννης","Varouxis Ioannis"],"dc:date":["2022"],"dc:description":["Η επιταχυνόμενη αύξηση της χρήσης συσκευών στην άκρη του δικτύου, έχει πολλαπλασιάσει τον όγκο των δεδομένων που παράγονται από αυτές. Σε αρκετές περιπτώσεις η παραγόμενα πληροφορία αποτελείται από πολυδιάστατα δεδομένα. Προκειμένου λοιπόν να χειριστούμε τα δεδομένα αυτού του τύπου επαρκώς, η διάστασή τους πρέπει να μειωθεί. Η μέθοδος της μείωσης των διαστάσεων, είναι ο μετασχηματισμός δεδομένων πολλών διαστάσεων σε μια ουσιαστική αναπαράσταση με λιγότερα χαρακτηριστικά (διαστάσεις). Ειδικά στο τοπίο του Διαδικτύου των Πραγμάτων, η εκθετική αύξηση των παραγόμενων δεδομένων από κάθε είδους συσκευές, απαιτεί αποτελεσματικές μεθόδους μεταφοράς ακατέργαστων πληροφοριών από την άκρη του δικτύου στα ανώτερα στρώματα της αρχιτεκτονικής του Διαδικτύου των Πραγμάτων. Στη συνέχεια, εξειδικευμένα υπολογιστικά συστήματα θα μετασχηματίσουν τα συσσωρευμένα δεδομένα και θα τα προετοιμάσουν για κατανάλωση από τους τελικούς χρήστες ή άλλες εφαρμογές και υπηρεσίες. Στο πλαίσιο της παρούσας διπλωματικής εργασίας, έγινε προσπάθεια να παρουσιαστεί μια καθιερωμένη μέθοδος μείωσης δεδομένων βασισμένη σε Coresets, η οποία έχει δυνατότητα αναστροφής των μετασχηματισμών. Στη συνέχεια προχωρήσαμε στην υλοποίηση ενός αλγορίθμου ροής βασισμένο σε Coresets, με αποδεδειγμένη βεβαιότητα στον περιορισμό του αθροιστικού σφάλματος. Ο προτεινόμενος σχεδιασμός του συστήματος ακολουθεί ένα σύγχρονο πρότυπο χωρίς διακομιστές (serverless), το οποίο δεν απαιτεί την παροχή οποιασδήποτε υπολογιστικής υποδομής και κλιμακώνεται αυτόματα για την υποστήριξη μεγάλων φορτίων. Τέλος, το σύστημα δοκιμάστηκε με ένα πραγματικό σύνολο δεδομένων πολλών διαστάσεων, με μια ποικιλία παραμέτρων διαμόρφωσης ώστε να παράγουμε τα κατάλληλα συμπεράσματα τόσο για τα κέρδη, όσο και για τα σφάλματα που ενδέχεται να εισαχθούν κατά την εφαρμογή της διαδικασίας μείωσης των διαστάσεων.","The accelerating growth in the use of devices at the network edge, has proliferated the volume of generated data. In several cases the generated information consists of multidimensional data. So, in order to handle such data adequately, its dimensionality needs to be decreased. The dimensionality reduction method is the transformation of high-dimensional data into a meaningful representation with less characteristics (dimensions). Especially in the Internet of Things landscape, the exponential growth of generated data by all kinds of devices, demands efficient methods to transfer raw information from the network edge to upper layers of the Internet of Things architecture. Then, specialized computing systems will transform accumulated data and prepare it for consumption by end users and other applications or services. In the context of this thesis, an effort was made to present an established data reduction method based on coresets, which provides reversible characteristics. We proceeded with the implementation of a coresets based streaming algorithm, with provable assurance in limiting the additive error. The proposed system design adheres to a modern serverless paradigm, that doesn’t require provisioning of any compute infrastructure and scales automatically to support large workloads. Subsequently, the implemented system was tested against a real-life high dimensional dataset, with a variety of configuration parameters to draw appropriate conclusions about both the gains and the errors that might be introduced when performing the dimensionality reduction procedure."],"dc:identifier":["uoadl:3245809","https://pergamos.lib.uoa.gr/uoa/dl/object/3245809"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["A systems' approach for reducing big data at the edge"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:20:13Z"}