National and Kapodistrian University of Athens
Κλιμακώσιμη Μετατροπή Γεωχωρικών Δεδομένων σε RDF με την επέκταση του εργαλείου GeoTriples
Abstract
dc:descriptionΗ παρούσα διπλωματική εργασία αφορά την επέκταση του εργαλείου GeoΤriples ώστε να του προσφέρουμε τη δυνατότητα αποδοτικής επεξεργασίας μεγάλης κλίμακας δεδομένων (big data). To GeoΤriples επεξεργάζεται γεωχωρικά δεδομένα και μεταδεδομένα (metadata) προερχόμενα από ESRI Shapefiles, GML, KML, GeoJSON, CSV αρχεία ή σχεσιακές βάσεις δεδομένων (relational databases) με τη δυνατότητα αποθήκευσης γεωχωρικών δεδομένων και μετατρέπει τα δεδομένα αυτά σε Διασυνδεδεμένα Γεωχωρικά Δεδομένα (Linked Open Geospatial Data). Στόχος μας είναι η επέκταση του GeoΤriples ώστε να του δώσουμε τη δυνατότητα να επεξεργάζεται και να μετατρέπει αποδοτικότερα τα δεδομένα που του δίνονται ως είσοδο μέσω του framework ανοιχτού κώδικα Apache Hadoop. Η δυνατότητα αυτή, συμβάλλει σε εξαιρετικά σημαντικό βαθμό στη βελτιώση της απόδοσης του GeoΤriples όσον αφορά το χρόνο επεξεργασίας των δεδομένων του. Βέβαια, όπως είναι γνωστό και από τις θεμελιώδεις αρχές του Apache Hadoop, η βελτίωση αυτή θα επέλθει εφόσον τα δεδομένα προς μετατροπή αφορούν μεγάλης κλίμακας σύνολα δεδομένων καθώς το χρονικό κόστος για την εκκίνηση των διαδικασιών του Apache Hadoop αλλά και για τη διαχείριση της συστάδας (cluster) του, ξεπερνά κατά πολύ τις όποιες διαδικασίες αφορούν επεξεργασία μικρού όγκου δεδομένων. Η υλοποίησή μας αφορά τη μετατροπή δεδομένων τα οποία προέρχονται από δύο διαφορετικές μορφές αποθήκευσης γεωχωρικών δεδομένων. Η πρώτη μορφή, αφορά γεωχωρικά δεδομένα τα οποία είναι αποθηκευμένα υπό τη μορφή αρχείων ESRI Shapefile, ενώ η δεύτερη μορφή αφορά γεωχωρικά δεδομένα τα οποία είναι αποθηκευμένα υπό τη μορφή αρχείων CSV. Στο πρώτο στάδιο προσαρμόσαμε το GeoTriples ώστε μέσω του Apache Hadoop να επεξεργάζεται και να μετατρέπει δεδομένα τα οποία προέρχονται από Shapefile αρχεία ενώ στο δεύτερο στάδιο προσαρμόσαμε το GeoTriples ώστε μέσω του Apache Hadoop να επεξεργάζεται και να μετατρέπει δεδομένα τα οποία προέρχονται από CSV αρχεία. Τα αποτελέσματα μας προέρχονται από τη σύγκριση της υλοποίησή μας με την πρότυπη υλοποίηση του εργαλείου GeoTriples. Η σύγκριση που πραγματοποιήσαμε αφορά τη χρονική απόδοση των δύο υλοποιήσεων και έγινε σε δύο φάσεις. Στην πρώτη φάση συγκρίναμε την υλοποίησή μας με τη σειριακή εκτέλεση του GeoTriples, ενώ στη δεύτερη φάση δώσαμε στην πρότυπη έκδοση του GeoTriples τη δυνατοτητα παράλληλης εκτέλεσης και τη συγκρίναμε με την υλοποίησή μας. Η πρότυπη έκδοση του GeoTriples έχει ως κύριο σημείο περιορισμού της χρονικής του απόδοσης την προσπέλαση του δίσκου του υπολογιστικού συστήματος που εκτελείται η οποία αυξάνεται όσο αυξάνεται και ο όγκος των δεδομένων προς επεξεργασία. Από τα αποτελέσματα τα οποία λάβαμε καταφέραμε να αποδείξουμε ότι η εκτέλεση του GeoTriples μέσω του Apache Hadoop, άρει τον προηγούμενο περιορισμό και όσο τα δεδομένα εισόδου αυξάνονται σε πλήθος και όγκο αρχείων, γίνεται αποδοτικότερη σε χρόνο, σε σχέση με την πρότυπη υλοποίηση του GeoTriples.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Βασιλείου Αλέξανδρος
- Vasiliou Alexandros
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, English, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:1325541