National and Kapodistrian University of Athens
Μελέτη, καταγραφή, και υλοποίηση τεχνικών καθαρισμού δεδομένων στον τομέα της υγείας
Abstract
dc:descriptionΤα δεδομένα που παράγονται καθημερινά τόσο από το χώρο της υγείας αλλά και από την απλή καθημερινότητα μας είναι τεράστια σε όγκο. Ο όγκος που δημιουργείται κατά την συλλογή δεδομένων αποτελεί το μεγαλύτερο πρόβλημα των αναλυτών δεδομένων, καθώς στην αρχική τους μορφή είναι ακατέργαστα. Ο λόγος για τον οποίο ένας αναλυτής δεδομένων θα ασχοληθεί με ένα σύνολο δεδομένων (dataset) είναι για να εξάγει πληροφορία από τα δεδομένα, η οποία θα βοηθήσει στην κατάλληλη γνώση που θέλουμε να λάβουμε από τα δεδομένα που επεξεργαστήκαμε. Φτάνοντας στην προ-επεξεργασία των δεδομένων, ο αναλυτής αντιμετωπίζει μια σωρεία προβλημάτων όπως, μη ακριβή δεδομένα, κενές καταχωρήσεις δεδομένων, διπλές εγγραφές δεδομένων, λάθος καταχωρήσεις, ανεπαρκή δεδομένα και άλλα παρόμοια προβλήματα, που καθιστούν τα δεδομένα μη καθαρά. Αν τα δεδομένα που έχουμε στην διάθεση μας δεν είναι λοιπόν καθαρά, οποιοδήποτε συμπέρασμα εξάγεται από αυτά θα είναι λάθος. Σκοπός λοιπόν του αναλυτή δεδομένων είναι να επεξεργαστεί τα δεδομένα που έχει στην διάθεση του και να τα καθαρίσει όσο το δυνατόν περισσότερο μπορεί με αποτέλεσμα στην τελική τους μορφή να μπορούν να μας οδηγήσουν σε σωστά και ακριβή συμπεράσματα. Ο τομέας της υγείας είναι ένας κλάδος, ο οποίος παράγει ασταμάτητα δεδομένα. Ο όγκος των δεδομένων αυτών αποθηκεύεται σε μεγάλες βάσεις δεδομένων. Τα σύνολα δεδομένων που δημιουργούνται από το εκάστοτε πληροφοριακό σύστημα, συχνά συλλέγουν δεδομένα σε μορφή μη ακριβή, έχοντας λανθασμένες ή κενές καταχωρήσεις, παρουσιάζουν αρκετές φορές διπλές εγγραφές και άλλα. Η μελέτη των δεδομένων, μπορεί να προσφέρει απεριόριστες δυνατότητες γνώσης τόσο στο εκάστοτε υγειονομικό σύστημα άλλα και στην καλύτερη λήψη αποφάσεων στον τομέα της υγείας. Δεν αρκεί να έχουμε στην διάθεση μας σύνολα δεδομένων, άλλα καθαρά σύνολα δεδομένων που θα μας βοηθήσουν να λάβουμε την κατάλληλη και χρήσιμη πληροφορία από το σύνολο δεδομένων που θα εξετάσουμε. Σκοπός της παρούσας διπλωματικής εργασίας είναι η υλοποίηση ενός ολοκληρωμένου συστήματος (προγράμματος) το οποίο υλοποιεί τεχνικές καθαρισμού δεδομένων, οι οποίες συμπεριλαμβάνουν την προ-επεξεργασία και την αναπαράστασή τους. Είναι υλοποιημένο στην γλώσσα προγραμματισμού Python. Στόχος της παρούσας εφαρμογής είναι να προσφέρει καλύτερες δυνατότητες καθαρισμού δεδομένων για μια πλειάδα διαφορετικών τύπων δεδομένων που μπορούν να εισαχθούν στην εφαρμογή ως σύνολα δεδομένων. Μέσω του προγράμματος που δημιουργήθηκε, υπάρχει η δυνατότητα να καθαρίσουμε ένα σύνολο δεδομένων με πολλούς και διαφορετικούς τρόπους. Εφόσον το σύνολο δεδομένων καθαριστεί για να είναι πιο ευδιάκριτα τα αποτελέσματα μας, μπορούμε να οπτικοποιήσουμε τα καθαρά δεδομένα που δημιουργήσαμε. Οπτικοποιώντας τα καθαρά δεδομένα, μπορούμε να εξάγουμε γνώση από αυτά, καθώς δημιουργούνται πληροφορίες και συνδέσεις για τα δεδομένα. Οι πληροφορίες αυτές μέσω της οπτικοποίησης καθιστούν την πληροφορία πιο προσιτή, με αποτέλεσμα να παρατηρούνται μοτίβα, τάσεις, ακραίες τιμές και άλλα, ανάλογα με τον τρόπο που θα παρουσιαστούν τα οπτικοποιημένα καθαρά δεδομένα. Στόχος της εφαρμογής, είναι να βοηθήσει τους επαγγελματίες υγείας, τους ερευνητές και τους αναλυτές δεδομένων να εξορθολογήσουν την χρήση των ερευνητικών δεδομένων τους, έτσι ώστε να προσφέρουν καλύτερες υπηρεσίες υγείας στους ασθενείς.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Πλιώτα Αντιγόνη
- Pliota Antigoni
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:3237868