{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2880653"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2880653","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"On building a Bin-packing-based Scheduling Algorithm for Apache Spark using Profiling","abstract":"Στις μέρες μας, η ανάγκη για γρήγορη και αποδοτική επεξεργασία τεράστιων ποσοτήτων δεδομένων οδήγησε στην ανάπτυξη συστημάτων τα οποία τρέχουν πάνω από συστάδες υπολογιστών, όπως το Apache Spark. Ένα πολύ συχνό πρόβλημα τέτοιων συστημάτων είναι να βρεθούν οι βέλτιστες τιμές των παραμέτρων τους, με βάση το προς-εκτέλεση ερώτημα. Η παρούσα δουλειά επεκτείνει ένα σύγχρονο σκιαγράφο συστήματος για το Apache Spark, και δικαιλογεί την υπεροχή των fat executors σε εκτέλεση αναλυτικών ερωτημάτων. Επιπλέον, ο αριθμός και το είδος των πόρων που ένα σύστημα χρησιμοποιεί είναι ζωτικής σημασίας για την απόδοση του. Οι πάροχοι υπολογιστικών νέφων προσφέρουν μεγάλη ποικιλία πόρων διαφορετικής επεξεργαστικής ισχύος και κόστους, αφήνοντας τον χρήστη να επιλέξει αυτούς που θα δεσμευτούν για την εκτέλεση του ερωτήματος του. Η δουλειά αυτή μελετά το συγκεκριμένο πρόβλημα και παρέχει έναν νέο αλγόριθμο που εξερευνά τον χρονο-προγραμματιστικό χώρο των ομοιογενών υπολογιστικών συστάδων. Ο αλγόριθμος παράγει ένα σύνολο pareto χρονοπρογραμμάτων, αφήνοντας τον χρήστη να επιλέγει την συστάδα που ταιριάζει στις ανάγκες του. Με βάση το σημείο αναφοράς TPC-H, ο προτεινόμενος αλγόριθμος πετυχαίνει 6,8% λιγότερο χρόνο εκτέλεσης και 7,03% λιγότερο κόστος, όταν χρησιμοποιείται η ίδια συστάδα υπολογιστικών πόρων.","abstract_html":"Στις μέρες μας, η ανάγκη για γρήγορη και αποδοτική επεξεργασία τεράστιων ποσοτήτων δεδομένων οδήγησε στην ανάπτυξη συστημάτων τα οποία τρέχουν πάνω από συστάδες υπολογιστών, όπως το Apache Spark. Ένα πολύ συχνό πρόβλημα τέτοιων συστημάτων είναι να βρεθούν οι βέλτιστες τιμές των παραμέτρων τους, με βάση το προς-εκτέλεση ερώτημα. Η παρούσα δουλειά επεκτείνει ένα σύγχρονο σκιαγράφο συστήματος για το Apache Spark, και δικαιλογεί την υπεροχή των fat executors σε εκτέλεση αναλυτικών ερωτημάτων. Επιπλέον, ο αριθμός και το είδος των πόρων που ένα σύστημα χρησιμοποιεί είναι ζωτικής σημασίας για την απόδοση του. Οι πάροχοι υπολογιστικών νέφων προσφέρουν μεγάλη ποικιλία πόρων διαφορετικής επεξεργαστικής ισχύος και κόστους, αφήνοντας τον χρήστη να επιλέξει αυτούς που θα δεσμευτούν για την εκτέλεση του ερωτήματος του. Η δουλειά αυτή μελετά το συγκεκριμένο πρόβλημα και παρέχει έναν νέο αλγόριθμο που εξερευνά τον χρονο-προγραμματιστικό χώρο των ομοιογενών υπολογιστικών συστάδων. Ο αλγόριθμος παράγει ένα σύνολο pareto χρονοπρογραμμάτων, αφήνοντας τον χρήστη να επιλέγει την συστάδα που ταιριάζει στις ανάγκες του. Με βάση το σημείο αναφοράς TPC-H, ο προτεινόμενος αλγόριθμος πετυχαίνει 6,8% λιγότερο χρόνο εκτέλεσης και 7,03% λιγότερο κόστος, όταν χρησιμοποιείται η ίδια συστάδα υπολογιστικών πόρων.","abstract_has_math":false,"creators":["Σπυρόπουλος Δημήτριος","Spyropoulos Dimitrios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2019,"date_issued":"2019","date_published":"2019","updated_at":"2026-11-19T05:35:56Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2880653"],"render_values":[{"text":"uoadl:2880653","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2880653","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2880653","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2880653","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Σπυρόπουλος Δημήτριος","Spyropoulos Dimitrios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2019"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2880653","https://pergamos.lib.uoa.gr/uoa/dl/object/2880653"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Στις μέρες μας, η ανάγκη για γρήγορη και αποδοτική επεξεργασία τεράστιων ποσοτήτων δεδομένων οδήγησε στην ανάπτυξη συστημάτων τα οποία τρέχουν πάνω από συστάδες υπολογιστών, όπως το Apache Spark. Ένα πολύ συχνό πρόβλημα τέτοιων συστημάτων είναι να βρεθούν οι βέλτιστες τιμές των παραμέτρων τους, με βάση το προς-εκτέλεση ερώτημα. Η παρούσα δουλειά επεκτείνει ένα σύγχρονο σκιαγράφο συστήματος για το Apache Spark, και δικαιλογεί την υπεροχή των fat executors σε εκτέλεση αναλυτικών ερωτημάτων. Επιπλέον, ο αριθμός και το είδος των πόρων που ένα σύστημα χρησιμοποιεί είναι ζωτικής σημασίας για την απόδοση του. Οι πάροχοι υπολογιστικών νέφων προσφέρουν μεγάλη ποικιλία πόρων διαφορετικής επεξεργαστικής ισχύος και κόστους, αφήνοντας τον χρήστη να επιλέξει αυτούς που θα δεσμευτούν για την εκτέλεση του ερωτήματος του. Η δουλειά αυτή μελετά το συγκεκριμένο πρόβλημα και παρέχει έναν νέο αλγόριθμο που εξερευνά τον χρονο-προγραμματιστικό χώρο των ομοιογενών υπολογιστικών συστάδων. Ο αλγόριθμος παράγει ένα σύνολο pareto χρονοπρογραμμάτων, αφήνοντας τον χρήστη να επιλέγει την συστάδα που ταιριάζει στις ανάγκες του. Με βάση το σημείο αναφοράς TPC-H, ο προτεινόμενος αλγόριθμος πετυχαίνει 6,8% λιγότερο χρόνο εκτέλεσης και 7,03% λιγότερο κόστος, όταν χρησιμοποιείται η ίδια συστάδα υπολογιστικών πόρων.","Nowadays, the need for processing large amounts of data quickly and efficiently led to the development of systems that run upon clusters of machines, like Apache Spark. A very common problem of such systems is to find the optimal configuration of the cluster(depending on the query to be executed). The current work extends the state of the art of system profilers for Apache Spark and justifies the overpower of fat executors when it comes to analytical query execution. Moreover, the number and type of resources that a system uses is crucial for its performance. Cloud providers offer a large variety of resources, having different computing performance and cost characteristics, leaving to user to choose the machines that will be provisioned for its query. This work considers this problem and provides a novel algorithm that explores the scheduling space of homogeneous clusters. The algorithm produces a set of schedules close to the pareto front, leaving the user to choose the configuration that better fits its needs. Under TPC-H benchmark, the Proposed Algorithm achieves 6,8% less execution time and 7,03% less monetary expenditure, when the same cluster is used."]},{"key":"dc:title","label":"Title","values":["On building a Bin-packing-based Scheduling Algorithm for Apache Spark using Profiling"]}]}],"canonical_facts":{"dc:creator":["Σπυρόπουλος Δημήτριος","Spyropoulos Dimitrios"],"dc:date":["2019"],"dc:description":["Στις μέρες μας, η ανάγκη για γρήγορη και αποδοτική επεξεργασία τεράστιων ποσοτήτων δεδομένων οδήγησε στην ανάπτυξη συστημάτων τα οποία τρέχουν πάνω από συστάδες υπολογιστών, όπως το Apache Spark. Ένα πολύ συχνό πρόβλημα τέτοιων συστημάτων είναι να βρεθούν οι βέλτιστες τιμές των παραμέτρων τους, με βάση το προς-εκτέλεση ερώτημα. Η παρούσα δουλειά επεκτείνει ένα σύγχρονο σκιαγράφο συστήματος για το Apache Spark, και δικαιλογεί την υπεροχή των fat executors σε εκτέλεση αναλυτικών ερωτημάτων. Επιπλέον, ο αριθμός και το είδος των πόρων που ένα σύστημα χρησιμοποιεί είναι ζωτικής σημασίας για την απόδοση του. Οι πάροχοι υπολογιστικών νέφων προσφέρουν μεγάλη ποικιλία πόρων διαφορετικής επεξεργαστικής ισχύος και κόστους, αφήνοντας τον χρήστη να επιλέξει αυτούς που θα δεσμευτούν για την εκτέλεση του ερωτήματος του. Η δουλειά αυτή μελετά το συγκεκριμένο πρόβλημα και παρέχει έναν νέο αλγόριθμο που εξερευνά τον χρονο-προγραμματιστικό χώρο των ομοιογενών υπολογιστικών συστάδων. Ο αλγόριθμος παράγει ένα σύνολο pareto χρονοπρογραμμάτων, αφήνοντας τον χρήστη να επιλέγει την συστάδα που ταιριάζει στις ανάγκες του. Με βάση το σημείο αναφοράς TPC-H, ο προτεινόμενος αλγόριθμος πετυχαίνει 6,8% λιγότερο χρόνο εκτέλεσης και 7,03% λιγότερο κόστος, όταν χρησιμοποιείται η ίδια συστάδα υπολογιστικών πόρων.","Nowadays, the need for processing large amounts of data quickly and efficiently led to the development of systems that run upon clusters of machines, like Apache Spark. A very common problem of such systems is to find the optimal configuration of the cluster(depending on the query to be executed). The current work extends the state of the art of system profilers for Apache Spark and justifies the overpower of fat executors when it comes to analytical query execution. Moreover, the number and type of resources that a system uses is crucial for its performance. Cloud providers offer a large variety of resources, having different computing performance and cost characteristics, leaving to user to choose the machines that will be provisioned for its query. This work considers this problem and provides a novel algorithm that explores the scheduling space of homogeneous clusters. The algorithm produces a set of schedules close to the pareto front, leaving the user to choose the configuration that better fits its needs. Under TPC-H benchmark, the Proposed Algorithm achieves 6,8% less execution time and 7,03% less monetary expenditure, when the same cluster is used."],"dc:identifier":["uoadl:2880653","https://pergamos.lib.uoa.gr/uoa/dl/object/2880653"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["On building a Bin-packing-based Scheduling Algorithm for Apache Spark using Profiling"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:35:56Z"}