Back to search

National and Kapodistrian University of Athens

Pipelined MapReduce

Abstract

dc:description

Το προγραμματιστικό μοντέλο Απεικόνισης-Μείωσης έχει βρει πολλές εφαρμογές σε κατανεμημένα συστήματα επεξεργασίας δεδομένων, που όμως απαιτούν την εισαγωγή των δεδομένων στις αντίστοιχες υποδομές, ενώ η ανάκτηση των αποτελεσμάτων είναι εφικτή μόνο όταν το στάδιο της επεξεργασίας έχει ολοκληρωθεί συνολικά. Σε αυτή τη διπλωματική εργασία υλοποιήσαμε ένα κατανεμημένο σύστημα για επεξεργασία και εκτέλεση επερωτήσεων σε δομημένα και ήμι-δομημένα δεδομένα που υποστηρίζει το μοντέλο απεικόνισης-μείωσης, με τη δυνατότητα διαλειτουργικότητας μέσω υποστήριξης διαφορετικών πηγών και προορισμών δεδομένων. Το σύστημα περιλαμβάνει επίσης διεπαφή υποβολής επερωτήσεων εκφρασμένων στη γλώσσα HiveQL, όπου ο χρήστης μπορεί να ορίσει τις δικές του συναρτήσεις εκτέλεσης. Ολόκληρη η υλοποίηση βασίζεται πάνω σε τεχνικές σωλήνωσης : Η επεξεργασία των δεδομένων γίνεται σταδιακά, χωρίς να απαιτείται η αποθήκευση δεδομένων στους ενδιάμεσους κόμβους μιας και η επεξεργασία γίνεται επίσης προοδευτικά. Η πειραματική αποτίμηση έδειξε αυξημένη απόκριση αποτελεσμάτων χωρίς να επηρεάζεται σημαντικά η συνολική απόδοση του συστήματος.

Author and committee

dc:creator, dc:contributor.*
Author dc:creator
  • Γκερμπεσιώτης Ιωάννης

Rights

Language dc:language
Ελληνικά, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:1321331

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
related terms
citation

Γκερμπεσιώτης Ιωάννης. Pipelined MapReduce. 2014. https://pergamos.lib.uoa.gr/uoa/dl/object/1321331