{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:1321331"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:1321331","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Pipelined MapReduce","abstract":"Το προγραμματιστικό μοντέλο Απεικόνισης-Μείωσης έχει βρει πολλές εφαρμογές σε κατανεμημένα συστήματα επεξεργασίας δεδομένων, που όμως απαιτούν την εισαγωγή των δεδομένων στις αντίστοιχες υποδομές, ενώ η ανάκτηση των αποτελεσμάτων είναι εφικτή μόνο όταν το στάδιο της επεξεργασίας έχει ολοκληρωθεί συνολικά. Σε αυτή τη διπλωματική εργασία υλοποιήσαμε ένα κατανεμημένο σύστημα για επεξεργασία και εκτέλεση επερωτήσεων σε δομημένα και ήμι-δομημένα δεδομένα που υποστηρίζει το μοντέλο απεικόνισης-μείωσης, με τη δυνατότητα διαλειτουργικότητας μέσω υποστήριξης διαφορετικών πηγών και προορισμών δεδομένων. Το σύστημα περιλαμβάνει επίσης διεπαφή υποβολής επερωτήσεων εκφρασμένων στη γλώσσα HiveQL, όπου ο χρήστης μπορεί να ορίσει τις δικές του συναρτήσεις εκτέλεσης. Ολόκληρη η υλοποίηση βασίζεται πάνω σε τεχνικές σωλήνωσης : Η επεξεργασία των δεδομένων γίνεται σταδιακά, χωρίς να απαιτείται η αποθήκευση δεδομένων στους ενδιάμεσους κόμβους μιας και η επεξεργασία γίνεται επίσης προοδευτικά. Η πειραματική αποτίμηση έδειξε αυξημένη απόκριση αποτελεσμάτων χωρίς να επηρεάζεται σημαντικά η συνολική απόδοση του συστήματος.","abstract_html":"Το προγραμματιστικό μοντέλο Απεικόνισης-Μείωσης έχει βρει πολλές εφαρμογές σε κατανεμημένα συστήματα επεξεργασίας δεδομένων, που όμως απαιτούν την εισαγωγή των δεδομένων στις αντίστοιχες υποδομές, ενώ η ανάκτηση των αποτελεσμάτων είναι εφικτή μόνο όταν το στάδιο της επεξεργασίας έχει ολοκληρωθεί συνολικά. Σε αυτή τη διπλωματική εργασία υλοποιήσαμε ένα κατανεμημένο σύστημα για επεξεργασία και εκτέλεση επερωτήσεων σε δομημένα και ήμι-δομημένα δεδομένα που υποστηρίζει το μοντέλο απεικόνισης-μείωσης, με τη δυνατότητα διαλειτουργικότητας μέσω υποστήριξης διαφορετικών πηγών και προορισμών δεδομένων. Το σύστημα περιλαμβάνει επίσης διεπαφή υποβολής επερωτήσεων εκφρασμένων στη γλώσσα HiveQL, όπου ο χρήστης μπορεί να ορίσει τις δικές του συναρτήσεις εκτέλεσης. Ολόκληρη η υλοποίηση βασίζεται πάνω σε τεχνικές σωλήνωσης : Η επεξεργασία των δεδομένων γίνεται σταδιακά, χωρίς να απαιτείται η αποθήκευση δεδομένων στους ενδιάμεσους κόμβους μιας και η επεξεργασία γίνεται επίσης προοδευτικά. Η πειραματική αποτίμηση έδειξε αυξημένη απόκριση αποτελεσμάτων χωρίς να επηρεάζεται σημαντικά η συνολική απόδοση του συστήματος.","abstract_has_math":false,"creators":["Γκερμπεσιώτης Ιωάννης"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2014,"date_issued":"2014","date_published":"2014","updated_at":"2026-11-19T05:26:41Z","subjects":[],"languages":["Ελληνικά","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1321331"],"render_values":[{"text":"uoadl:1321331","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1321331","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1321331","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A1321331","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Γκερμπεσιώτης Ιωάννης"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2014"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1321331","https://pergamos.lib.uoa.gr/uoa/dl/object/1321331"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Το προγραμματιστικό μοντέλο Απεικόνισης-Μείωσης έχει βρει πολλές εφαρμογές σε κατανεμημένα συστήματα επεξεργασίας δεδομένων, που όμως απαιτούν την εισαγωγή των δεδομένων στις αντίστοιχες υποδομές, ενώ η ανάκτηση των αποτελεσμάτων είναι εφικτή μόνο όταν το στάδιο της επεξεργασίας έχει ολοκληρωθεί συνολικά. Σε αυτή τη διπλωματική εργασία υλοποιήσαμε ένα κατανεμημένο σύστημα για επεξεργασία και εκτέλεση επερωτήσεων σε δομημένα και ήμι-δομημένα δεδομένα που υποστηρίζει το μοντέλο απεικόνισης-μείωσης, με τη δυνατότητα διαλειτουργικότητας μέσω υποστήριξης διαφορετικών πηγών και προορισμών δεδομένων. Το σύστημα περιλαμβάνει επίσης διεπαφή υποβολής επερωτήσεων εκφρασμένων στη γλώσσα HiveQL, όπου ο χρήστης μπορεί να ορίσει τις δικές του συναρτήσεις εκτέλεσης. Ολόκληρη η υλοποίηση βασίζεται πάνω σε τεχνικές σωλήνωσης : Η επεξεργασία των δεδομένων γίνεται σταδιακά, χωρίς να απαιτείται η αποθήκευση δεδομένων στους ενδιάμεσους κόμβους μιας και η επεξεργασία γίνεται επίσης προοδευτικά. Η πειραματική αποτίμηση έδειξε αυξημένη απόκριση αποτελεσμάτων χωρίς να επηρεάζεται σημαντικά η συνολική απόδοση του συστήματος.","Many processing systems support MapReduce programming model for data-intensive distributed computing of batch jobs, but commonly data have to first be imported to the infrastructure, whereas output is retrieved only after whole processing has finished. We present a distributed system for processing and executing queries over structured and semi-structured data that supports MapReduce model, does not require data staging and allows data to be pipelined between operators. As a result, data are processed gradually without requiring data to be stored at intermediate nodes as processing progresses. One of the key features of our system is also interoperability by supporting various input data sources and output sinks. Furthermore, a query interface has been implemented, that parses HiveQL queries and allows user to express custom functions as well. Experimental evaluation showed advanced results responsiveness without compromising overall performance of the system, since output of a job can be derived as it is being computed."]},{"key":"dc:title","label":"Title","values":["Pipelined MapReduce"]}]}],"canonical_facts":{"dc:creator":["Γκερμπεσιώτης Ιωάννης"],"dc:date":["2014"],"dc:description":["Το προγραμματιστικό μοντέλο Απεικόνισης-Μείωσης έχει βρει πολλές εφαρμογές σε κατανεμημένα συστήματα επεξεργασίας δεδομένων, που όμως απαιτούν την εισαγωγή των δεδομένων στις αντίστοιχες υποδομές, ενώ η ανάκτηση των αποτελεσμάτων είναι εφικτή μόνο όταν το στάδιο της επεξεργασίας έχει ολοκληρωθεί συνολικά. Σε αυτή τη διπλωματική εργασία υλοποιήσαμε ένα κατανεμημένο σύστημα για επεξεργασία και εκτέλεση επερωτήσεων σε δομημένα και ήμι-δομημένα δεδομένα που υποστηρίζει το μοντέλο απεικόνισης-μείωσης, με τη δυνατότητα διαλειτουργικότητας μέσω υποστήριξης διαφορετικών πηγών και προορισμών δεδομένων. Το σύστημα περιλαμβάνει επίσης διεπαφή υποβολής επερωτήσεων εκφρασμένων στη γλώσσα HiveQL, όπου ο χρήστης μπορεί να ορίσει τις δικές του συναρτήσεις εκτέλεσης. Ολόκληρη η υλοποίηση βασίζεται πάνω σε τεχνικές σωλήνωσης : Η επεξεργασία των δεδομένων γίνεται σταδιακά, χωρίς να απαιτείται η αποθήκευση δεδομένων στους ενδιάμεσους κόμβους μιας και η επεξεργασία γίνεται επίσης προοδευτικά. Η πειραματική αποτίμηση έδειξε αυξημένη απόκριση αποτελεσμάτων χωρίς να επηρεάζεται σημαντικά η συνολική απόδοση του συστήματος.","Many processing systems support MapReduce programming model for data-intensive distributed computing of batch jobs, but commonly data have to first be imported to the infrastructure, whereas output is retrieved only after whole processing has finished. We present a distributed system for processing and executing queries over structured and semi-structured data that supports MapReduce model, does not require data staging and allows data to be pipelined between operators. As a result, data are processed gradually without requiring data to be stored at intermediate nodes as processing progresses. One of the key features of our system is also interoperability by supporting various input data sources and output sinks. Furthermore, a query interface has been implemented, that parses HiveQL queries and allows user to express custom functions as well. Experimental evaluation showed advanced results responsiveness without compromising overall performance of the system, since output of a job can be derived as it is being computed."],"dc:identifier":["uoadl:1321331","https://pergamos.lib.uoa.gr/uoa/dl/object/1321331"],"dc:language":["Ελληνικά","Greek"],"dc:title":["Pipelined MapReduce"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:26:41Z"}