{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5428603"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5428603","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Χρήση Αρχιτεκτονικών Transformer και Ενισχυτικής Μάθησης με Μάθηση Μίμησης για το Πρόβλημα της Πολυπρακτορικής Εύρεσης Μονοπατιών","abstract":"Το πρόβλημα της πολυπρακτορικής εύρεσης μονοπατιών προέκυψε από την ανάγκη των ερευνητών να λύσουν το πρόβλημα της μετακίνησης πολλαπλών ρομπότ σε μια αποθήκη, τον χειρισμό της εναέριας κυκλοφορίας και των τραίνων. Η ραγδαία ανάπτυξη της βαθιάς μάθησης οδήγησε στη χρήση νευρωνικών δικτύων και στη δημιουργία του τομέα της βαθιάς ενισχυτικής μάθησης. Μια σύγχρονη προσέγγιση που χρησιμοποιείται στο πρόβλημα της πολυπρακτορικής εύρεσης μονοπατιών είναι η χρήση βαθιάς ενισχυτικής μάθησης με μάθηση μίμησης για τον προγραμματισμό των πρακτόρων δυναμικά, αντί για τη χρήση κλασικών αλγορίθμων αναζήτησης, οι οποίοι θα πρέπει να εκτελούνται σε κάθε αλλαγή εμποδίων ή του αριθμού των πρακτόρων και μειονεκτούν σε περίπτωση περιορισμένου οπτικού πεδίου. Μια τέτοια προσέγγιση αποτελεί το PRIMAL, το οποίο αξιοποιεί τον αλγόριθμο A3C και χρησιμοποιεί πολλαπλά Convolutional Neural Networks (CNN) για την εξαγωγή πληροφορίας και LSTM για τη λήψη αποφάσεων. Εκτός από ενισχυτική μάθηση χρησιμοποιείται καθοδήγηση από ειδικό μέσω του αλγόριθμου ODRM*, κάθε πράκτορας καθοδηγείται από ένα διάνυσμα που δείχνει προς τον στόχο του, καθώς και γνωρίζει τη θέση των άλλων πρακτόρων μέσα στο οπτικό του πεδίο. Στην παρούσα διπλωματική εργασία αρχικά συγκρίνουμε την απόδοση των νευρωνικών αρχιτεκτονικών Multilayer Perceptron, LSTM, GRU, Transformer για το πρόβλημα του MAPF μέσω μιας απλοποιημένης εκδοχής του PRIMAL. Οι πειραματισμοί μας οδήγησαν στην ανάπτυξη ενός αλγοριθμικού πλαισίου το οποίο χρησιμοποιεί Transformer για τη λήψη αποφάσεων και επικοινωνία από τους πράκτορες μαζί με μάθηση μίμησης, χρησιμοποιώντας Cooperative A*, έτσι ώστε να λαμβάνει γρήγορη καθοδήγηση από ειδικό και να επιταχύνει την εκπαίδευση. Επιπρόσθετα, για τη βελτιστοποίηση του αλγορίθμου, μελετήσαμε την αλληλεπίδραση των διαφορετικών συναρτήσεων ανταμοιβής στους αλγορίθμους PPO και A2C με την αποτελεσματικότητα των πρακτόρων στο πρόβλημα.","abstract_html":"Το πρόβλημα της πολυπρακτορικής εύρεσης μονοπατιών προέκυψε από την ανάγκη των ερευνητών να λύσουν το πρόβλημα της μετακίνησης πολλαπλών ρομπότ σε μια αποθήκη, τον χειρισμό της εναέριας κυκλοφορίας και των τραίνων. Η ραγδαία ανάπτυξη της βαθιάς μάθησης οδήγησε στη χρήση νευρωνικών δικτύων και στη δημιουργία του τομέα της βαθιάς ενισχυτικής μάθησης. Μια σύγχρονη προσέγγιση που χρησιμοποιείται στο πρόβλημα της πολυπρακτορικής εύρεσης μονοπατιών είναι η χρήση βαθιάς ενισχυτικής μάθησης με μάθηση μίμησης για τον προγραμματισμό των πρακτόρων δυναμικά, αντί για τη χρήση κλασικών αλγορίθμων αναζήτησης, οι οποίοι θα πρέπει να εκτελούνται σε κάθε αλλαγή εμποδίων ή του αριθμού των πρακτόρων και μειονεκτούν σε περίπτωση περιορισμένου οπτικού πεδίου. Μια τέτοια προσέγγιση αποτελεί το PRIMAL, το οποίο αξιοποιεί τον αλγόριθμο A3C και χρησιμοποιεί πολλαπλά Convolutional Neural Networks (CNN) για την εξαγωγή πληροφορίας και LSTM για τη λήψη αποφάσεων. Εκτός από ενισχυτική μάθηση χρησιμοποιείται καθοδήγηση από ειδικό μέσω του αλγόριθμου ODRM*, κάθε πράκτορας καθοδηγείται από ένα διάνυσμα που δείχνει προς τον στόχο του, καθώς και γνωρίζει τη θέση των άλλων πρακτόρων μέσα στο οπτικό του πεδίο. Στην παρούσα διπλωματική εργασία αρχικά συγκρίνουμε την απόδοση των νευρωνικών αρχιτεκτονικών Multilayer Perceptron, LSTM, GRU, Transformer για το πρόβλημα του MAPF μέσω μιας απλοποιημένης εκδοχής του PRIMAL. Οι πειραματισμοί μας οδήγησαν στην ανάπτυξη ενός αλγοριθμικού πλαισίου το οποίο χρησιμοποιεί Transformer για τη λήψη αποφάσεων και επικοινωνία από τους πράκτορες μαζί με μάθηση μίμησης, χρησιμοποιώντας Cooperative A*, έτσι ώστε να λαμβάνει γρήγορη καθοδήγηση από ειδικό και να επιταχύνει την εκπαίδευση. Επιπρόσθετα, για τη βελτιστοποίηση του αλγορίθμου, μελετήσαμε την αλληλεπίδραση των διαφορετικών συναρτήσεων ανταμοιβής στους αλγορίθμους PPO και A2C με την αποτελεσματικότητα των πρακτόρων στο πρόβλημα.","abstract_has_math":false,"creators":["ΜΟΥΛΚΙΩΤΗΣ ΓΡΗΓΟΡΙΟΣ","MOULKIOTIS GRIGORIOS"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:20:24Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["Ελληνικά","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5428603"],"render_values":[{"text":"uoadl:5428603","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5428603","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5428603","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5428603","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΜΟΥΛΚΙΩΤΗΣ ΓΡΗΓΟΡΙΟΣ","MOULKIOTIS GRIGORIOS"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5428603","https://pergamos.lib.uoa.gr/uoa/dl/object/5428603"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Το πρόβλημα της πολυπρακτορικής εύρεσης μονοπατιών προέκυψε από την ανάγκη των ερευνητών να λύσουν το πρόβλημα της μετακίνησης πολλαπλών ρομπότ σε μια αποθήκη, τον χειρισμό της εναέριας κυκλοφορίας και των τραίνων. Η ραγδαία ανάπτυξη της βαθιάς μάθησης οδήγησε στη χρήση νευρωνικών δικτύων και στη δημιουργία του τομέα της βαθιάς ενισχυτικής μάθησης. Μια σύγχρονη προσέγγιση που χρησιμοποιείται στο πρόβλημα της πολυπρακτορικής εύρεσης μονοπατιών είναι η χρήση βαθιάς ενισχυτικής μάθησης με μάθηση μίμησης για τον προγραμματισμό των πρακτόρων δυναμικά, αντί για τη χρήση κλασικών αλγορίθμων αναζήτησης, οι οποίοι θα πρέπει να εκτελούνται σε κάθε αλλαγή εμποδίων ή του αριθμού των πρακτόρων και μειονεκτούν σε περίπτωση περιορισμένου οπτικού πεδίου. Μια τέτοια προσέγγιση αποτελεί το PRIMAL, το οποίο αξιοποιεί τον αλγόριθμο A3C και χρησιμοποιεί πολλαπλά Convolutional Neural Networks (CNN) για την εξαγωγή πληροφορίας και LSTM για τη λήψη αποφάσεων. Εκτός από ενισχυτική μάθηση χρησιμοποιείται καθοδήγηση από ειδικό μέσω του αλγόριθμου ODRM*, κάθε πράκτορας καθοδηγείται από ένα διάνυσμα που δείχνει προς τον στόχο του, καθώς και γνωρίζει τη θέση των άλλων πρακτόρων μέσα στο οπτικό του πεδίο. Στην παρούσα διπλωματική εργασία αρχικά συγκρίνουμε την απόδοση των νευρωνικών αρχιτεκτονικών Multilayer Perceptron, LSTM, GRU, Transformer για το πρόβλημα του MAPF μέσω μιας απλοποιημένης εκδοχής του PRIMAL. Οι πειραματισμοί μας οδήγησαν στην ανάπτυξη ενός αλγοριθμικού πλαισίου το οποίο χρησιμοποιεί Transformer για τη λήψη αποφάσεων και επικοινωνία από τους πράκτορες μαζί με μάθηση μίμησης, χρησιμοποιώντας Cooperative A*, έτσι ώστε να λαμβάνει γρήγορη καθοδήγηση από ειδικό και να επιταχύνει την εκπαίδευση. Επιπρόσθετα, για τη βελτιστοποίηση του αλγορίθμου, μελετήσαμε την αλληλεπίδραση των διαφορετικών συναρτήσεων ανταμοιβής στους αλγορίθμους PPO και A2C με την αποτελεσματικότητα των πρακτόρων στο πρόβλημα.","The problem of Multi-Agent Path Finding (MAPF) has emerged from the need to coordinate the movement of multiple robots in warehouses, as well as to address challenges in air traffic control and railway systems. The rapid growth of deep learning has led to the integration of neural networks with reinforcement learning, giving rise to the field of deep reinforcement learning. A modern approach that is used in the problem of MAPF is the combination of deep reinforcement learning and imitation learning to dynamically plan agents' paths, instead of using classic search algorithms, which must be re-executed for every change of obstacles or the number of agents and cannot solve the problem under partial observability. One such approach is PRIMAL which utilizes the A3C algorithm and employs multiple Convolutional Neural Networks (CNNs) to extract features/information and LSTM for the decision-making. In addition to Reinforcement Learning expert guidance is provided with ODRM* algorithm, each agent is guided by a vector that points toward its target and is aware of the positions of other agents within its field of view. In this thesis we evaluate the performance of Multilayer Perceptron (MLP), LSTM, GRU, and Transformer neural network architectures on the Multi-Agent Path Finding (MAPF) problem using a simplified version of PRIMAL. The experiments led to the development of an algorithmic flow that uses Transformer for decision-making and communication combined with Imitation Learning using Cooperative A* for fast guidance from expert and accelerated learning. Additionally, to optimize the algorithm, we studied the interaction of the different reward functions in PPO and A2C algorithms with the efficiency of the agents in the problem."]},{"key":"dc:title","label":"Title","values":["Χρήση Αρχιτεκτονικών Transformer και Ενισχυτικής Μάθησης με Μάθηση Μίμησης για το Πρόβλημα της Πολυπρακτορικής Εύρεσης Μονοπατιών"]}]}],"canonical_facts":{"dc:creator":["ΜΟΥΛΚΙΩΤΗΣ ΓΡΗΓΟΡΙΟΣ","MOULKIOTIS GRIGORIOS"],"dc:date":["2026"],"dc:description":["Το πρόβλημα της πολυπρακτορικής εύρεσης μονοπατιών προέκυψε από την ανάγκη των ερευνητών να λύσουν το πρόβλημα της μετακίνησης πολλαπλών ρομπότ σε μια αποθήκη, τον χειρισμό της εναέριας κυκλοφορίας και των τραίνων. Η ραγδαία ανάπτυξη της βαθιάς μάθησης οδήγησε στη χρήση νευρωνικών δικτύων και στη δημιουργία του τομέα της βαθιάς ενισχυτικής μάθησης. Μια σύγχρονη προσέγγιση που χρησιμοποιείται στο πρόβλημα της πολυπρακτορικής εύρεσης μονοπατιών είναι η χρήση βαθιάς ενισχυτικής μάθησης με μάθηση μίμησης για τον προγραμματισμό των πρακτόρων δυναμικά, αντί για τη χρήση κλασικών αλγορίθμων αναζήτησης, οι οποίοι θα πρέπει να εκτελούνται σε κάθε αλλαγή εμποδίων ή του αριθμού των πρακτόρων και μειονεκτούν σε περίπτωση περιορισμένου οπτικού πεδίου. Μια τέτοια προσέγγιση αποτελεί το PRIMAL, το οποίο αξιοποιεί τον αλγόριθμο A3C και χρησιμοποιεί πολλαπλά Convolutional Neural Networks (CNN) για την εξαγωγή πληροφορίας και LSTM για τη λήψη αποφάσεων. Εκτός από ενισχυτική μάθηση χρησιμοποιείται καθοδήγηση από ειδικό μέσω του αλγόριθμου ODRM*, κάθε πράκτορας καθοδηγείται από ένα διάνυσμα που δείχνει προς τον στόχο του, καθώς και γνωρίζει τη θέση των άλλων πρακτόρων μέσα στο οπτικό του πεδίο. Στην παρούσα διπλωματική εργασία αρχικά συγκρίνουμε την απόδοση των νευρωνικών αρχιτεκτονικών Multilayer Perceptron, LSTM, GRU, Transformer για το πρόβλημα του MAPF μέσω μιας απλοποιημένης εκδοχής του PRIMAL. Οι πειραματισμοί μας οδήγησαν στην ανάπτυξη ενός αλγοριθμικού πλαισίου το οποίο χρησιμοποιεί Transformer για τη λήψη αποφάσεων και επικοινωνία από τους πράκτορες μαζί με μάθηση μίμησης, χρησιμοποιώντας Cooperative A*, έτσι ώστε να λαμβάνει γρήγορη καθοδήγηση από ειδικό και να επιταχύνει την εκπαίδευση. Επιπρόσθετα, για τη βελτιστοποίηση του αλγορίθμου, μελετήσαμε την αλληλεπίδραση των διαφορετικών συναρτήσεων ανταμοιβής στους αλγορίθμους PPO και A2C με την αποτελεσματικότητα των πρακτόρων στο πρόβλημα.","The problem of Multi-Agent Path Finding (MAPF) has emerged from the need to coordinate the movement of multiple robots in warehouses, as well as to address challenges in air traffic control and railway systems. The rapid growth of deep learning has led to the integration of neural networks with reinforcement learning, giving rise to the field of deep reinforcement learning. A modern approach that is used in the problem of MAPF is the combination of deep reinforcement learning and imitation learning to dynamically plan agents' paths, instead of using classic search algorithms, which must be re-executed for every change of obstacles or the number of agents and cannot solve the problem under partial observability. One such approach is PRIMAL which utilizes the A3C algorithm and employs multiple Convolutional Neural Networks (CNNs) to extract features/information and LSTM for the decision-making. In addition to Reinforcement Learning expert guidance is provided with ODRM* algorithm, each agent is guided by a vector that points toward its target and is aware of the positions of other agents within its field of view. In this thesis we evaluate the performance of Multilayer Perceptron (MLP), LSTM, GRU, and Transformer neural network architectures on the Multi-Agent Path Finding (MAPF) problem using a simplified version of PRIMAL. The experiments led to the development of an algorithmic flow that uses Transformer for decision-making and communication combined with Imitation Learning using Cooperative A* for fast guidance from expert and accelerated learning. Additionally, to optimize the algorithm, we studied the interaction of the different reward functions in PPO and A2C algorithms with the efficiency of the agents in the problem."],"dc:identifier":["uoadl:5428603","https://pergamos.lib.uoa.gr/uoa/dl/object/5428603"],"dc:language":["Ελληνικά","Greek"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Χρήση Αρχιτεκτονικών Transformer και Ενισχυτικής Μάθησης με Μάθηση Μίμησης για το Πρόβλημα της Πολυπρακτορικής Εύρεσης Μονοπατιών"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:20:24Z"}