National and Kapodistrian University of Athens
A systems' approach for reducing big data at the edge
Abstract
dc:descriptionΗ επιταχυνόμενη αύξηση της χρήσης συσκευών στην άκρη του δικτύου, έχει πολλαπλασιάσει τον όγκο των δεδομένων που παράγονται από αυτές. Σε αρκετές περιπτώσεις η παραγόμενα πληροφορία αποτελείται από πολυδιάστατα δεδομένα. Προκειμένου λοιπόν να χειριστούμε τα δεδομένα αυτού του τύπου επαρκώς, η διάστασή τους πρέπει να μειωθεί. Η μέθοδος της μείωσης των διαστάσεων, είναι ο μετασχηματισμός δεδομένων πολλών διαστάσεων σε μια ουσιαστική αναπαράσταση με λιγότερα χαρακτηριστικά (διαστάσεις). Ειδικά στο τοπίο του Διαδικτύου των Πραγμάτων, η εκθετική αύξηση των παραγόμενων δεδομένων από κάθε είδους συσκευές, απαιτεί αποτελεσματικές μεθόδους μεταφοράς ακατέργαστων πληροφοριών από την άκρη του δικτύου στα ανώτερα στρώματα της αρχιτεκτονικής του Διαδικτύου των Πραγμάτων. Στη συνέχεια, εξειδικευμένα υπολογιστικά συστήματα θα μετασχηματίσουν τα συσσωρευμένα δεδομένα και θα τα προετοιμάσουν για κατανάλωση από τους τελικούς χρήστες ή άλλες εφαρμογές και υπηρεσίες. Στο πλαίσιο της παρούσας διπλωματικής εργασίας, έγινε προσπάθεια να παρουσιαστεί μια καθιερωμένη μέθοδος μείωσης δεδομένων βασισμένη σε Coresets, η οποία έχει δυνατότητα αναστροφής των μετασχηματισμών. Στη συνέχεια προχωρήσαμε στην υλοποίηση ενός αλγορίθμου ροής βασισμένο σε Coresets, με αποδεδειγμένη βεβαιότητα στον περιορισμό του αθροιστικού σφάλματος. Ο προτεινόμενος σχεδιασμός του συστήματος ακολουθεί ένα σύγχρονο πρότυπο χωρίς διακομιστές (serverless), το οποίο δεν απαιτεί την παροχή οποιασδήποτε υπολογιστικής υποδομής και κλιμακώνεται αυτόματα για την υποστήριξη μεγάλων φορτίων. Τέλος, το σύστημα δοκιμάστηκε με ένα πραγματικό σύνολο δεδομένων πολλών διαστάσεων, με μια ποικιλία παραμέτρων διαμόρφωσης ώστε να παράγουμε τα κατάλληλα συμπεράσματα τόσο για τα κέρδη, όσο και για τα σφάλματα που ενδέχεται να εισαχθούν κατά την εφαρμογή της διαδικασίας μείωσης των διαστάσεων.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Βαρουξής Ιωάννης
- Varouxis Ioannis
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3245809