{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2864204"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2864204","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Temporal Abstraction for Hierarchical Reinforcement Learning in Air Traffic Management","abstract":"Στην παρούσα διπλωματική εργασία, παρουσιάζουμε την αποδοτικότητα και αποτελεσματικότητα ιεραρχικών πολυπρακτορικών μεθόδων ενισχυτικής μάθησης, όπου οι αποφάσεις διαμορφώνονται σε διάφορα επίπεδα αφαίρεσης, για τη σύνθεση κοινών πολιτικών με σκοπό την επίλυση προβλημάτων συμφόρησης στη διαχείριση εναέριας κυκλοφορίας, επεκτείνοντας τη δουλειά που παρουσιάζεται στο [1]. Συγκεκριμένα, στοχεύουμε στην επίλυση περιπτώσεων όπου η ζήτηση για χρήση του εναέριου χώρου υπερβαίνει την προσφορά (Demand - Capacity problems), μέσω της επιβολής καθυστερήσεων στις πτήσεις πριν το τακτικό επίπεδο των διαδικασιών. Οι πράκτορες, οι οποίοι αντιπροσωπεύουν πτήσεις, έχουν περιορισμένη πληροφόρηση σχετικά με τις αμοιβές και τις προτιμήσεις των υπόλοιπων πρακτόρων και χρειάζεται να συντονιστούν μεταξύ τους για να επιτύχουν τα καθήκοντά τους ενώ τηρούν λειτουργικούς περιορισμούς. Συγκεκριμένα μοντελοποιούμε το πρόβλημα σαν μια ιεραρχική πολυπρακτορική Μαρκοβιανή Διαδικασία Αποφάσεων και παρουσιάζουμε ιεραρχικές πολυπρακτορικές μεθόδους ενισχυτικής μάθησης που επιτρέπουν στους πράκτορες να διομορφώνουν τις δικές τους πολιτικές σε συντονισμό με τους υπόλοιπους. Εξερευνούμε την αποτελεσματικότητα εναλλακτικών ιεραρχικών μεθόδων ενισχυτικής μάθησης και εναλλακτικών σχημάτων μεταφοράς της εμπειρίας μεταξύ επιπέδων με σκοπό τη μείωση των καθυστερήσεων και του αριθμού των πτήσεων στις οποίες έχει επιβληθεί καθυστέρηση. Εκτενής πειραματική μελέτη σε μία πραγματική περίπτωση, δείχνει τη δυνατότητα των προτεινόμενων προσεγγίσεων να βελτιώσουν την υπολογιστική αποτελεσματικότητα και την ποιότητα των λύσεων για την επίλυση προβλημάτων εξισορρόπησης ζήτησης-προσφοράς (Demand - Capacity problems) σε σύγκριση και με άλλα state of the art μοντέλα και μεθόδους [1].","abstract_html":"Στην παρούσα διπλωματική εργασία, παρουσιάζουμε την αποδοτικότητα και αποτελεσματικότητα ιεραρχικών πολυπρακτορικών μεθόδων ενισχυτικής μάθησης, όπου οι αποφάσεις διαμορφώνονται σε διάφορα επίπεδα αφαίρεσης, για τη σύνθεση κοινών πολιτικών με σκοπό την επίλυση προβλημάτων συμφόρησης στη διαχείριση εναέριας κυκλοφορίας, επεκτείνοντας τη δουλειά που παρουσιάζεται στο [1]. Συγκεκριμένα, στοχεύουμε στην επίλυση περιπτώσεων όπου η ζήτηση για χρήση του εναέριου χώρου υπερβαίνει την προσφορά (Demand - Capacity problems), μέσω της επιβολής καθυστερήσεων στις πτήσεις πριν το τακτικό επίπεδο των διαδικασιών. Οι πράκτορες, οι οποίοι αντιπροσωπεύουν πτήσεις, έχουν περιορισμένη πληροφόρηση σχετικά με τις αμοιβές και τις προτιμήσεις των υπόλοιπων πρακτόρων και χρειάζεται να συντονιστούν μεταξύ τους για να επιτύχουν τα καθήκοντά τους ενώ τηρούν λειτουργικούς περιορισμούς. Συγκεκριμένα μοντελοποιούμε το πρόβλημα σαν μια ιεραρχική πολυπρακτορική Μαρκοβιανή Διαδικασία Αποφάσεων και παρουσιάζουμε ιεραρχικές πολυπρακτορικές μεθόδους ενισχυτικής μάθησης που επιτρέπουν στους πράκτορες να διομορφώνουν τις δικές τους πολιτικές σε συντονισμό με τους υπόλοιπους. Εξερευνούμε την αποτελεσματικότητα εναλλακτικών ιεραρχικών μεθόδων ενισχυτικής μάθησης και εναλλακτικών σχημάτων μεταφοράς της εμπειρίας μεταξύ επιπέδων με σκοπό τη μείωση των καθυστερήσεων και του αριθμού των πτήσεων στις οποίες έχει επιβληθεί καθυστέρηση. Εκτενής πειραματική μελέτη σε μία πραγματική περίπτωση, δείχνει τη δυνατότητα των προτεινόμενων προσεγγίσεων να βελτιώσουν την υπολογιστική αποτελεσματικότητα και την ποιότητα των λύσεων για την επίλυση προβλημάτων εξισορρόπησης ζήτησης-προσφοράς (Demand - Capacity problems) σε σύγκριση και με άλλα state of the art μοντέλα και μεθόδους [1].","abstract_has_math":false,"creators":["Μπάστας Αλεβίζος","Bastas Alevizos"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2019,"date_issued":"2019","date_published":"2019","updated_at":"2026-11-19T05:34:15Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2864204"],"render_values":[{"text":"uoadl:2864204","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2864204","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2864204","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2864204","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Μπάστας Αλεβίζος","Bastas Alevizos"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2019"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2864204","https://pergamos.lib.uoa.gr/uoa/dl/object/2864204"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Στην παρούσα διπλωματική εργασία, παρουσιάζουμε την αποδοτικότητα και αποτελεσματικότητα ιεραρχικών πολυπρακτορικών μεθόδων ενισχυτικής μάθησης, όπου οι αποφάσεις διαμορφώνονται σε διάφορα επίπεδα αφαίρεσης, για τη σύνθεση κοινών πολιτικών με σκοπό την επίλυση προβλημάτων συμφόρησης στη διαχείριση εναέριας κυκλοφορίας, επεκτείνοντας τη δουλειά που παρουσιάζεται στο [1]. Συγκεκριμένα, στοχεύουμε στην επίλυση περιπτώσεων όπου η ζήτηση για χρήση του εναέριου χώρου υπερβαίνει την προσφορά (Demand - Capacity problems), μέσω της επιβολής καθυστερήσεων στις πτήσεις πριν το τακτικό επίπεδο των διαδικασιών. Οι πράκτορες, οι οποίοι αντιπροσωπεύουν πτήσεις, έχουν περιορισμένη πληροφόρηση σχετικά με τις αμοιβές και τις προτιμήσεις των υπόλοιπων πρακτόρων και χρειάζεται να συντονιστούν μεταξύ τους για να επιτύχουν τα καθήκοντά τους ενώ τηρούν λειτουργικούς περιορισμούς. Συγκεκριμένα μοντελοποιούμε το πρόβλημα σαν μια ιεραρχική πολυπρακτορική Μαρκοβιανή Διαδικασία Αποφάσεων και παρουσιάζουμε ιεραρχικές πολυπρακτορικές μεθόδους ενισχυτικής μάθησης που επιτρέπουν στους πράκτορες να διομορφώνουν τις δικές τους πολιτικές σε συντονισμό με τους υπόλοιπους. Εξερευνούμε την αποτελεσματικότητα εναλλακτικών ιεραρχικών μεθόδων ενισχυτικής μάθησης και εναλλακτικών σχημάτων μεταφοράς της εμπειρίας μεταξύ επιπέδων με σκοπό τη μείωση των καθυστερήσεων και του αριθμού των πτήσεων στις οποίες έχει επιβληθεί καθυστέρηση. Εκτενής πειραματική μελέτη σε μία πραγματική περίπτωση, δείχνει τη δυνατότητα των προτεινόμενων προσεγγίσεων να βελτιώσουν την υπολογιστική αποτελεσματικότητα και την ποιότητα των λύσεων για την επίλυση προβλημάτων εξισορρόπησης ζήτησης-προσφοράς (Demand - Capacity problems) σε σύγκριση και με άλλα state of the art μοντέλα και μεθόδους [1].","In this thesis, we report on the efficiency and effectiveness of hierarchical multiagent reinforcement learning methods (H-MARL), where the decisions are formed at various abstraction levels, for the computation of joint policies to resolve congestion problems in the Air Traffic Management (ATM) domain extending the work presented in [1]. Specifically, we aim to resolve cases where demand of airspace use exceeds capacity (demand-capacity problems), via imposing ground delays to flights at the pre-tactical stage of operations. Agents, representing flights, have limited information about others' payoffs and preferences, and need to coordinate among themselves to achieve their tasks while adhering to operational constraints. Specifically, we formalize the problem as a hierarchical multiagent Markov Decision Process (MA-MDP) and we present hierarchical multiagent reinforcement learning methods that allow agents to form own policies in coordination with others. We explore the effectiveness of alternative hierarchical multiagent reinforcement learning methods and alternative schemes of transferring experience between levels, towards reducing delays and number of delayed flights. Extensive experimental study on a real-world case, shows the potential of the proposed approaches in increasing the computational efficiency and the quality of solutions in resolving the demand-capacity balance problems also in comparison to other state of the art flat models and methods [1]."]},{"key":"dc:title","label":"Title","values":["Temporal Abstraction for Hierarchical Reinforcement Learning in Air Traffic Management"]}]}],"canonical_facts":{"dc:creator":["Μπάστας Αλεβίζος","Bastas Alevizos"],"dc:date":["2019"],"dc:description":["Στην παρούσα διπλωματική εργασία, παρουσιάζουμε την αποδοτικότητα και αποτελεσματικότητα ιεραρχικών πολυπρακτορικών μεθόδων ενισχυτικής μάθησης, όπου οι αποφάσεις διαμορφώνονται σε διάφορα επίπεδα αφαίρεσης, για τη σύνθεση κοινών πολιτικών με σκοπό την επίλυση προβλημάτων συμφόρησης στη διαχείριση εναέριας κυκλοφορίας, επεκτείνοντας τη δουλειά που παρουσιάζεται στο [1]. Συγκεκριμένα, στοχεύουμε στην επίλυση περιπτώσεων όπου η ζήτηση για χρήση του εναέριου χώρου υπερβαίνει την προσφορά (Demand - Capacity problems), μέσω της επιβολής καθυστερήσεων στις πτήσεις πριν το τακτικό επίπεδο των διαδικασιών. Οι πράκτορες, οι οποίοι αντιπροσωπεύουν πτήσεις, έχουν περιορισμένη πληροφόρηση σχετικά με τις αμοιβές και τις προτιμήσεις των υπόλοιπων πρακτόρων και χρειάζεται να συντονιστούν μεταξύ τους για να επιτύχουν τα καθήκοντά τους ενώ τηρούν λειτουργικούς περιορισμούς. Συγκεκριμένα μοντελοποιούμε το πρόβλημα σαν μια ιεραρχική πολυπρακτορική Μαρκοβιανή Διαδικασία Αποφάσεων και παρουσιάζουμε ιεραρχικές πολυπρακτορικές μεθόδους ενισχυτικής μάθησης που επιτρέπουν στους πράκτορες να διομορφώνουν τις δικές τους πολιτικές σε συντονισμό με τους υπόλοιπους. Εξερευνούμε την αποτελεσματικότητα εναλλακτικών ιεραρχικών μεθόδων ενισχυτικής μάθησης και εναλλακτικών σχημάτων μεταφοράς της εμπειρίας μεταξύ επιπέδων με σκοπό τη μείωση των καθυστερήσεων και του αριθμού των πτήσεων στις οποίες έχει επιβληθεί καθυστέρηση. Εκτενής πειραματική μελέτη σε μία πραγματική περίπτωση, δείχνει τη δυνατότητα των προτεινόμενων προσεγγίσεων να βελτιώσουν την υπολογιστική αποτελεσματικότητα και την ποιότητα των λύσεων για την επίλυση προβλημάτων εξισορρόπησης ζήτησης-προσφοράς (Demand - Capacity problems) σε σύγκριση και με άλλα state of the art μοντέλα και μεθόδους [1].","In this thesis, we report on the efficiency and effectiveness of hierarchical multiagent reinforcement learning methods (H-MARL), where the decisions are formed at various abstraction levels, for the computation of joint policies to resolve congestion problems in the Air Traffic Management (ATM) domain extending the work presented in [1]. Specifically, we aim to resolve cases where demand of airspace use exceeds capacity (demand-capacity problems), via imposing ground delays to flights at the pre-tactical stage of operations. Agents, representing flights, have limited information about others' payoffs and preferences, and need to coordinate among themselves to achieve their tasks while adhering to operational constraints. Specifically, we formalize the problem as a hierarchical multiagent Markov Decision Process (MA-MDP) and we present hierarchical multiagent reinforcement learning methods that allow agents to form own policies in coordination with others. We explore the effectiveness of alternative hierarchical multiagent reinforcement learning methods and alternative schemes of transferring experience between levels, towards reducing delays and number of delayed flights. Extensive experimental study on a real-world case, shows the potential of the proposed approaches in increasing the computational efficiency and the quality of solutions in resolving the demand-capacity balance problems also in comparison to other state of the art flat models and methods [1]."],"dc:identifier":["uoadl:2864204","https://pergamos.lib.uoa.gr/uoa/dl/object/2864204"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Temporal Abstraction for Hierarchical Reinforcement Learning in Air Traffic Management"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:34:15Z"}