{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:1317280"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:1317280","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Εξερεύνηση και Καθαρισμός Δεδομένων σε Βιοϊατρικές Βάσεις","abstract":"Ο καθαρισμός δεδομένων, που ορίζεται σαν η διαδικασία ανίχνευσης και διόρθωσης ασυνεπειών και λαθών στα δεδομένα, αποτελεί ουσιαστικό βήμα προεπεξεργασίας που σχετίζεται με πολλά θέματα βάσεων δεδομένων και βιοπληροφορικής. Καθαρά κι έγκυρα δεδομένα αποτελούν σημαντική προϋπόθεση για την εξέλιξη της έρευνας οποιουδήποτε ακαδημαϊκού ερευνητή και όχι μόνο. Πιο συγκεκριμένα, η ανάγκη για καθαρά δεδομένα κυριαρχεί σε κάθε έκφανση επιστημονικής δραστηριότητας, αλλά και στις δραστηριότητες της σημερινής οικονομίας. Για το σκοπό αυτό, υπάρχει πλήθος εργαλείων καθαρισμού δεδομένων, με διαφορετικό βαθμό επιτυχίας το καθένα στην αντιμετώπιση των υφιστάμενων προκλήσεων της εκάστοτε διαδικασίας. Στην παρούσα διπλωματική εργασία, παρουσιάζεται η υλοποίηση και ανάπτυξη ενός ολοκληρωμένου εργαλείου καθαρισμού δεδομένων. Το παρόν εργαλείο είναι μια φιλική προς το χρήστη διαδικτυακή εφαρμογή που προσφέρει προηγμένη (ημι) -αυτόματη διαδικασία καθαρισμού σε μεγάλο όγκο ετερογενών δεδομένων. Το εργαλείο τρέχει πάνω από το σύστημα madIS, το οποίο παρέχει επεξεργασία και ανάλυση των δεδομένων μέσω συναρτήσεων (τελεστών) γραμμένων σε Python που επεκτείνουν την SQL-λειτουργικότητα ενός σχεσιακού συστήματος βάσης δεδομένων. Αυτόματη ανίχνευση σφαλμάτων τύπου και ακραίων τιμών (εκτόπων) επιτυγχάνεται κατά τη διαδικασία σύνθεσης του προφίλ των δεδομένων. Μέσω του παρόντος εργαλείου, μια εκτεταμένη σουίτα εξερεύνησης και ανάλυσης δεδομένων, ικανοποίησης περιορισμών, διαδραστικών οπτικοποιήσεων στατιστικών αποτελεσμάτων και αποτελεσμάτων τεχνικών εξόρυξης δεδομένων προσφέρεται στο χρήστη, προκειμένου να εντοπίζει με διαδραστικό τρόπο πιθανά σφάλματα, ακραίες τιμές, τυπογραφικά λάθη και παραβάσεις κανόνων καθαρισμού. Επιπλέον, το σύστημα προτείνει διορθώσεις, οι οποίες μπορούν εύκολα να γίνονται αποδεκτές ή να απορρίπτονται. Ως μέρος της διαδικασίας καθαρισμού, το εργαλείο υποστηρίζει, επίσης, την επεκτασιμότητα των δεδομένων μέσω του υπολογισμού νέων παράγωγων μεταβλητών. Τέλος, διατηρείται ιστορικό των ενεργειών του χρήστη, επιτρέποντάς του να αναιρέσει ένα ή περισσότερα βήματα, να εξάγει μια ροή εργασίας (workflow) και να την επανεκτελέσει σε επιπρόσθετα ή διαφορετικά δεδομένα.","abstract_html":"Ο καθαρισμός δεδομένων, που ορίζεται σαν η διαδικασία ανίχνευσης και διόρθωσης ασυνεπειών και λαθών στα δεδομένα, αποτελεί ουσιαστικό βήμα προεπεξεργασίας που σχετίζεται με πολλά θέματα βάσεων δεδομένων και βιοπληροφορικής. Καθαρά κι έγκυρα δεδομένα αποτελούν σημαντική προϋπόθεση για την εξέλιξη της έρευνας οποιουδήποτε ακαδημαϊκού ερευνητή και όχι μόνο. Πιο συγκεκριμένα, η ανάγκη για καθαρά δεδομένα κυριαρχεί σε κάθε έκφανση επιστημονικής δραστηριότητας, αλλά και στις δραστηριότητες της σημερινής οικονομίας. Για το σκοπό αυτό, υπάρχει πλήθος εργαλείων καθαρισμού δεδομένων, με διαφορετικό βαθμό επιτυχίας το καθένα στην αντιμετώπιση των υφιστάμενων προκλήσεων της εκάστοτε διαδικασίας. Στην παρούσα διπλωματική εργασία, παρουσιάζεται η υλοποίηση και ανάπτυξη ενός ολοκληρωμένου εργαλείου καθαρισμού δεδομένων. Το παρόν εργαλείο είναι μια φιλική προς το χρήστη διαδικτυακή εφαρμογή που προσφέρει προηγμένη (ημι) -αυτόματη διαδικασία καθαρισμού σε μεγάλο όγκο ετερογενών δεδομένων. Το εργαλείο τρέχει πάνω από το σύστημα madIS, το οποίο παρέχει επεξεργασία και ανάλυση των δεδομένων μέσω συναρτήσεων (τελεστών) γραμμένων σε Python που επεκτείνουν την SQL-λειτουργικότητα ενός σχεσιακού συστήματος βάσης δεδομένων. Αυτόματη ανίχνευση σφαλμάτων τύπου και ακραίων τιμών (εκτόπων) επιτυγχάνεται κατά τη διαδικασία σύνθεσης του προφίλ των δεδομένων. Μέσω του παρόντος εργαλείου, μια εκτεταμένη σουίτα εξερεύνησης και ανάλυσης δεδομένων, ικανοποίησης περιορισμών, διαδραστικών οπτικοποιήσεων στατιστικών αποτελεσμάτων και αποτελεσμάτων τεχνικών εξόρυξης δεδομένων προσφέρεται στο χρήστη, προκειμένου να εντοπίζει με διαδραστικό τρόπο πιθανά σφάλματα, ακραίες τιμές, τυπογραφικά λάθη και παραβάσεις κανόνων καθαρισμού. Επιπλέον, το σύστημα προτείνει διορθώσεις, οι οποίες μπορούν εύκολα να γίνονται αποδεκτές ή να απορρίπτονται. Ως μέρος της διαδικασίας καθαρισμού, το εργαλείο υποστηρίζει, επίσης, την επεκτασιμότητα των δεδομένων μέσω του υπολογισμού νέων παράγωγων μεταβλητών. Τέλος, διατηρείται ιστορικό των ενεργειών του χρήστη, επιτρέποντάς του να αναιρέσει ένα ή περισσότερα βήματα, να εξάγει μια ροή εργασίας (workflow) και να την επανεκτελέσει σε επιπρόσθετα ή διαφορετικά δεδομένα.","abstract_has_math":false,"creators":["Γόγολου Άννα"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2016,"date_issued":"2016","date_published":"2016","updated_at":"2026-11-19T05:25:03Z","subjects":[],"languages":["Ελληνικά","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1317280"],"render_values":[{"text":"uoadl:1317280","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1317280","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1317280","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A1317280","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Γόγολου Άννα"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2016"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1317280","https://pergamos.lib.uoa.gr/uoa/dl/object/1317280"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Ο καθαρισμός δεδομένων, που ορίζεται σαν η διαδικασία ανίχνευσης και διόρθωσης ασυνεπειών και λαθών στα δεδομένα, αποτελεί ουσιαστικό βήμα προεπεξεργασίας που σχετίζεται με πολλά θέματα βάσεων δεδομένων και βιοπληροφορικής. Καθαρά κι έγκυρα δεδομένα αποτελούν σημαντική προϋπόθεση για την εξέλιξη της έρευνας οποιουδήποτε ακαδημαϊκού ερευνητή και όχι μόνο. Πιο συγκεκριμένα, η ανάγκη για καθαρά δεδομένα κυριαρχεί σε κάθε έκφανση επιστημονικής δραστηριότητας, αλλά και στις δραστηριότητες της σημερινής οικονομίας. Για το σκοπό αυτό, υπάρχει πλήθος εργαλείων καθαρισμού δεδομένων, με διαφορετικό βαθμό επιτυχίας το καθένα στην αντιμετώπιση των υφιστάμενων προκλήσεων της εκάστοτε διαδικασίας. Στην παρούσα διπλωματική εργασία, παρουσιάζεται η υλοποίηση και ανάπτυξη ενός ολοκληρωμένου εργαλείου καθαρισμού δεδομένων. Το παρόν εργαλείο είναι μια φιλική προς το χρήστη διαδικτυακή εφαρμογή που προσφέρει προηγμένη (ημι) -αυτόματη διαδικασία καθαρισμού σε μεγάλο όγκο ετερογενών δεδομένων. Το εργαλείο τρέχει πάνω από το σύστημα madIS, το οποίο παρέχει επεξεργασία και ανάλυση των δεδομένων μέσω συναρτήσεων (τελεστών) γραμμένων σε Python που επεκτείνουν την SQL-λειτουργικότητα ενός σχεσιακού συστήματος βάσης δεδομένων. Αυτόματη ανίχνευση σφαλμάτων τύπου και ακραίων τιμών (εκτόπων) επιτυγχάνεται κατά τη διαδικασία σύνθεσης του προφίλ των δεδομένων. Μέσω του παρόντος εργαλείου, μια εκτεταμένη σουίτα εξερεύνησης και ανάλυσης δεδομένων, ικανοποίησης περιορισμών, διαδραστικών οπτικοποιήσεων στατιστικών αποτελεσμάτων και αποτελεσμάτων τεχνικών εξόρυξης δεδομένων προσφέρεται στο χρήστη, προκειμένου να εντοπίζει με διαδραστικό τρόπο πιθανά σφάλματα, ακραίες τιμές, τυπογραφικά λάθη και παραβάσεις κανόνων καθαρισμού. Επιπλέον, το σύστημα προτείνει διορθώσεις, οι οποίες μπορούν εύκολα να γίνονται αποδεκτές ή να απορρίπτονται. Ως μέρος της διαδικασίας καθαρισμού, το εργαλείο υποστηρίζει, επίσης, την επεκτασιμότητα των δεδομένων μέσω του υπολογισμού νέων παράγωγων μεταβλητών. Τέλος, διατηρείται ιστορικό των ενεργειών του χρήστη, επιτρέποντάς του να αναιρέσει ένα ή περισσότερα βήματα, να εξάγει μια ροή εργασίας (workflow) και να την επανεκτελέσει σε επιπρόσθετα ή διαφορετικά δεδομένα.","Defined as the process of detecting and correcting inconsistencies and errors in data, data cleaning constitutes an essential pre-processing step in many database and bioinformatics related tasks. Curated and valid data is a prerequisite for the upcoming research activity of any academic researcher and not only. In particular, the need for cleaned data dominates in every scientific activity and in today's economy. There are several existing data cleaning tools, with a varying degree of success in dealing with the challenges of this process. In this thesis, I present the development and functionality of a completed data cleaning tool. This tool is a user-friendly web application offering an advanced (semi)-automatic data cleaning process on large volumes of heterogeneous data. The tool runs on top of the madIS system, which provides data processing and analysis functionality via an extended relational database system. Automatic detection of type errors and numeric outliers is achieved during the data profiling process. An extensive suite of data analysis, constraint satisfaction, interactive data mining and statistical visualization results is offered to the user in order to identify potential errors, outliers, misspellings and rule violations. In addition, the tool suggests corrections that are easily accepted or rejected. As part of its data curation functionality, the tool also supports data extensibility with row and aggregate operations being available to compute new derived variables in the data. Finally, the tool keeps history of users’ actions allowing them to undo/redo history, extract workflows and re-execute them on different or additional data."]},{"key":"dc:title","label":"Title","values":["Εξερεύνηση και Καθαρισμός Δεδομένων σε Βιοϊατρικές Βάσεις"]}]}],"canonical_facts":{"dc:creator":["Γόγολου Άννα"],"dc:date":["2016"],"dc:description":["Ο καθαρισμός δεδομένων, που ορίζεται σαν η διαδικασία ανίχνευσης και διόρθωσης ασυνεπειών και λαθών στα δεδομένα, αποτελεί ουσιαστικό βήμα προεπεξεργασίας που σχετίζεται με πολλά θέματα βάσεων δεδομένων και βιοπληροφορικής. Καθαρά κι έγκυρα δεδομένα αποτελούν σημαντική προϋπόθεση για την εξέλιξη της έρευνας οποιουδήποτε ακαδημαϊκού ερευνητή και όχι μόνο. Πιο συγκεκριμένα, η ανάγκη για καθαρά δεδομένα κυριαρχεί σε κάθε έκφανση επιστημονικής δραστηριότητας, αλλά και στις δραστηριότητες της σημερινής οικονομίας. Για το σκοπό αυτό, υπάρχει πλήθος εργαλείων καθαρισμού δεδομένων, με διαφορετικό βαθμό επιτυχίας το καθένα στην αντιμετώπιση των υφιστάμενων προκλήσεων της εκάστοτε διαδικασίας. Στην παρούσα διπλωματική εργασία, παρουσιάζεται η υλοποίηση και ανάπτυξη ενός ολοκληρωμένου εργαλείου καθαρισμού δεδομένων. Το παρόν εργαλείο είναι μια φιλική προς το χρήστη διαδικτυακή εφαρμογή που προσφέρει προηγμένη (ημι) -αυτόματη διαδικασία καθαρισμού σε μεγάλο όγκο ετερογενών δεδομένων. Το εργαλείο τρέχει πάνω από το σύστημα madIS, το οποίο παρέχει επεξεργασία και ανάλυση των δεδομένων μέσω συναρτήσεων (τελεστών) γραμμένων σε Python που επεκτείνουν την SQL-λειτουργικότητα ενός σχεσιακού συστήματος βάσης δεδομένων. Αυτόματη ανίχνευση σφαλμάτων τύπου και ακραίων τιμών (εκτόπων) επιτυγχάνεται κατά τη διαδικασία σύνθεσης του προφίλ των δεδομένων. Μέσω του παρόντος εργαλείου, μια εκτεταμένη σουίτα εξερεύνησης και ανάλυσης δεδομένων, ικανοποίησης περιορισμών, διαδραστικών οπτικοποιήσεων στατιστικών αποτελεσμάτων και αποτελεσμάτων τεχνικών εξόρυξης δεδομένων προσφέρεται στο χρήστη, προκειμένου να εντοπίζει με διαδραστικό τρόπο πιθανά σφάλματα, ακραίες τιμές, τυπογραφικά λάθη και παραβάσεις κανόνων καθαρισμού. Επιπλέον, το σύστημα προτείνει διορθώσεις, οι οποίες μπορούν εύκολα να γίνονται αποδεκτές ή να απορρίπτονται. Ως μέρος της διαδικασίας καθαρισμού, το εργαλείο υποστηρίζει, επίσης, την επεκτασιμότητα των δεδομένων μέσω του υπολογισμού νέων παράγωγων μεταβλητών. Τέλος, διατηρείται ιστορικό των ενεργειών του χρήστη, επιτρέποντάς του να αναιρέσει ένα ή περισσότερα βήματα, να εξάγει μια ροή εργασίας (workflow) και να την επανεκτελέσει σε επιπρόσθετα ή διαφορετικά δεδομένα.","Defined as the process of detecting and correcting inconsistencies and errors in data, data cleaning constitutes an essential pre-processing step in many database and bioinformatics related tasks. Curated and valid data is a prerequisite for the upcoming research activity of any academic researcher and not only. In particular, the need for cleaned data dominates in every scientific activity and in today's economy. There are several existing data cleaning tools, with a varying degree of success in dealing with the challenges of this process. In this thesis, I present the development and functionality of a completed data cleaning tool. This tool is a user-friendly web application offering an advanced (semi)-automatic data cleaning process on large volumes of heterogeneous data. The tool runs on top of the madIS system, which provides data processing and analysis functionality via an extended relational database system. Automatic detection of type errors and numeric outliers is achieved during the data profiling process. An extensive suite of data analysis, constraint satisfaction, interactive data mining and statistical visualization results is offered to the user in order to identify potential errors, outliers, misspellings and rule violations. In addition, the tool suggests corrections that are easily accepted or rejected. As part of its data curation functionality, the tool also supports data extensibility with row and aggregate operations being available to compute new derived variables in the data. Finally, the tool keeps history of users’ actions allowing them to undo/redo history, extract workflows and re-execute them on different or additional data."],"dc:identifier":["uoadl:1317280","https://pergamos.lib.uoa.gr/uoa/dl/object/1317280"],"dc:language":["Ελληνικά","Greek"],"dc:title":["Εξερεύνηση και Καθαρισμός Δεδομένων σε Βιοϊατρικές Βάσεις"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:25:03Z"}