National and Kapodistrian University of Athens
Εξερεύνηση και Καθαρισμός Δεδομένων σε Βιοϊατρικές Βάσεις
Abstract
dc:descriptionΟ καθαρισμός δεδομένων, που ορίζεται σαν η διαδικασία ανίχνευσης και διόρθωσης ασυνεπειών και λαθών στα δεδομένα, αποτελεί ουσιαστικό βήμα προεπεξεργασίας που σχετίζεται με πολλά θέματα βάσεων δεδομένων και βιοπληροφορικής. Καθαρά κι έγκυρα δεδομένα αποτελούν σημαντική προϋπόθεση για την εξέλιξη της έρευνας οποιουδήποτε ακαδημαϊκού ερευνητή και όχι μόνο. Πιο συγκεκριμένα, η ανάγκη για καθαρά δεδομένα κυριαρχεί σε κάθε έκφανση επιστημονικής δραστηριότητας, αλλά και στις δραστηριότητες της σημερινής οικονομίας. Για το σκοπό αυτό, υπάρχει πλήθος εργαλείων καθαρισμού δεδομένων, με διαφορετικό βαθμό επιτυχίας το καθένα στην αντιμετώπιση των υφιστάμενων προκλήσεων της εκάστοτε διαδικασίας. Στην παρούσα διπλωματική εργασία, παρουσιάζεται η υλοποίηση και ανάπτυξη ενός ολοκληρωμένου εργαλείου καθαρισμού δεδομένων. Το παρόν εργαλείο είναι μια φιλική προς το χρήστη διαδικτυακή εφαρμογή που προσφέρει προηγμένη (ημι) -αυτόματη διαδικασία καθαρισμού σε μεγάλο όγκο ετερογενών δεδομένων. Το εργαλείο τρέχει πάνω από το σύστημα madIS, το οποίο παρέχει επεξεργασία και ανάλυση των δεδομένων μέσω συναρτήσεων (τελεστών) γραμμένων σε Python που επεκτείνουν την SQL-λειτουργικότητα ενός σχεσιακού συστήματος βάσης δεδομένων. Αυτόματη ανίχνευση σφαλμάτων τύπου και ακραίων τιμών (εκτόπων) επιτυγχάνεται κατά τη διαδικασία σύνθεσης του προφίλ των δεδομένων. Μέσω του παρόντος εργαλείου, μια εκτεταμένη σουίτα εξερεύνησης και ανάλυσης δεδομένων, ικανοποίησης περιορισμών, διαδραστικών οπτικοποιήσεων στατιστικών αποτελεσμάτων και αποτελεσμάτων τεχνικών εξόρυξης δεδομένων προσφέρεται στο χρήστη, προκειμένου να εντοπίζει με διαδραστικό τρόπο πιθανά σφάλματα, ακραίες τιμές, τυπογραφικά λάθη και παραβάσεις κανόνων καθαρισμού. Επιπλέον, το σύστημα προτείνει διορθώσεις, οι οποίες μπορούν εύκολα να γίνονται αποδεκτές ή να απορρίπτονται. Ως μέρος της διαδικασίας καθαρισμού, το εργαλείο υποστηρίζει, επίσης, την επεκτασιμότητα των δεδομένων μέσω του υπολογισμού νέων παράγωγων μεταβλητών. Τέλος, διατηρείται ιστορικό των ενεργειών του χρήστη, επιτρέποντάς του να αναιρέσει ένα ή περισσότερα βήματα, να εξάγει μια ροή εργασίας (workflow) και να την επανεκτελέσει σε επιπρόσθετα ή διαφορετικά δεδομένα.
Author and committee
dc:creator, dc:contributor.*- Author dc:creator
-
- Γόγολου Άννα
Rights
- Language dc:language
- Ελληνικά, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:1317280